值得每一个学Python爬虫的人，反思的项目总结_python爬虫报告收获和不足

HUAXIAL

于 2024-04-28 01:53:30 发布

阅读量969

点赞数 18

文章标签： python 爬虫开发语言

本文链接：https://blog.csdn.net/HUAXIAL/article/details/138262947

版权

本文介绍了Python爬虫的基本步骤，包括安装环境和工具的选择，目标网站的分析（手机与PC端），数据的解析（JSON格式），以及技术反思，如单线程到多线程爬取、断点续爬和增量爬取。同时强调了系统学习和不断优化代码的重要性。

摘要由CSDN通过智能技术生成

1).安装环境和工具的准备

工欲善其事，必先利其器！第一步是安装环境，推荐Pycharm,当然有人喜欢用sublime,Atom等等都可以，你自己用的顺手就可以了！爬虫用的库可以有很多选择，我们主推requests,解析的库用bs4,xpath,pyquery这些都可以,看你自己用的爽，用的熟练就行！

2).目标网站的分析

这次群里还请到了一位爬虫高手阿蔡的加入，以前一直玩爬虫的。加入了我们的实战群指点大家，拉勾的网站非常熟悉，我们可以有两种方法去爬取

手机网站的爬取，手机站点会容易很多，简单分析之后就可以得到网站的数据，几行代码就可以获取的json格式的职位数据集
PC网站的爬取，PC端会稍微复杂一些，因为数据是动态加载的，仔细的分析http请求内容，也很快可以找到入口

3).数据的解析

因为我们返回的是json数据，非常好分析，建议可以用pprint这款神器库先打印一下，找到我们要的职位的数据！

手机端的数据长这样:

 {'city': '上海',

  'company\_full\_names': '拉扎斯网络科技（上海）有限公司',

  'company\_name': '饿了么',

  'create\_time': '2018-03-20',

  'positionId': 2779439,

  'positionName': 'Python开发工程师（全栈）',

  'salary': '15k-25k'}

PC端的数据会稍微丰富一些，长这样:

{

 'businessZones': ['东四', '美术馆', '北新桥'],

 'city': '北京',

 'companyFullName': '凡普金科企业发展（上海）有限公司',

 'companyLabelList': ['年底双薪', '节日礼物', '技能培训', '带薪年假'],

 'createTime': '2018-03-22 10:41:03',

 'education': '本科',

 'linestaion': '5号线_东四;5号线_张自忠路;5号线_北新桥;6号线_东四;6号线_南锣鼓巷',

 'positionName': 'Python工程师',

 'salary': '25k-35k',

 'secondType': '后端开发'}

解析字典的时候会区分一下，然后获取总的页数，一般解析第一页就可以看到页数.然后进行循环爬取，进行解析。比如我们要获取职位的名称，职位的公司，职位的薪水，职位的城市和发布日期，这几个特征值，然后保存在一个字典列表里面即可！

4).数据的保存

常见的数据的保存我们一般用csv和json文件保存，csv文件一般都是先写一个头部，然后再把上面的字典列表数据一行一行存储在里面.json文件更方便了，我们直接建一个文件dump一下就可以保存了

上面走一遍，感觉是不是很容易啊！如果你只看到这里，那么你离进阶又失之交臂了！

2.技术的反思

1).单线程to多线程

上面的爬取都是单线程的爬取，职位不是很多，如果几万或者几十万的数据呢！你顺序爬取，很显然太慢，需要考虑并发！
并发有多进程，多线程，线程池，或者用协程并发

2).断点续爬

上面的爬取没有考虑异常情况，如果爬取的过程出错了！怎么办，你需要重头爬取，不是一个明智之举，如何断点续传呢：

比较常用的做法是保存文件，然后续爬的时候，先检测文件是否存在，如果存在查一下职位的id是否已经在文件中，不在则爬，在则跳过爬下一个！
那有没有更好的办法呢，阿蔡建议用Redis来处理，一个牛逼的非常快速的内存数据库，爬取的时候只要监听
redis数据,思路类似上面的文件爬取.

3).增量爬取

我们的爬取都是当天的数据，如何考虑增量爬取,我们首先要对日期进行处理！拉勾上的职位很多发布日期都是相对时间，比如今天12:10，昨天8：00，如果考虑时间序列的增量，必须要把这些相对时间在爬取的时候，做数据清洗！

3.细节的推敲

比如我们保存多个爬取的数据的时候，是用列表存储，还是用双向列表！
构建一个字典的时候，如果获取的数据的值为空，比如薪资异常，有没有考虑到用缺省字典
我们爬取的时候，有没有考虑异常处理，如果出现了403反爬，是否用了随机代理和构建一个代理池来处理
循环保存的时候，要不要用yield迭代器会不会更快一点

当然这些是我想到的一部分，也许还有更多的细节需要推敲和挖掘，把代码写的更好更美,好的代码应该是改出来的，需要不断的重构。

4.兴趣是最大的动力

2周的训练，能坚持下来的并不多，最后交卷的只有四层左右，虽然是一个很小的实战项目！但是在前进的过程中，很多时候会被途中的风景所吸引而忘记了赶路，或者是走到了一般遇到了一些问题和障碍，不一定会坚持越过山丘! 一件事情能否做到底，取决于你对成功的欲望有多强烈，你越渴望成功，你的目标非常清晰，越容易坚持！

最后大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！
朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】