- PC网站的爬取,PC端会稍微复杂一些,因为数据是动态加载的,仔细的分析http请求内容,也很快可以找到入口
3).数据的解析
因为我们返回的是json数据,非常好分析,建议可以用pprint这款神器库先打印一下,找到我们要的职位的数据!
手机端的数据长这样:
{'city': '上海',
'company\_full\_names': '拉扎斯网络科技(上海)有限公司',
'company\_name': '饿了么',
'create\_time': '2018-03-20',
'positionId': 2779439,
'positionName': 'Python开发工程师(全栈)',
'salary': '15k-25k'}
PC端的数据会稍微丰富一些,长这样:
{
'businessZones': ['东四', '美术馆', '北新桥'],
'city': '北京',
'companyFullName': '凡普金科企业发展(上海)有限公司',
'companyLabelList': ['年底双薪', '节日礼物', '技能培训', '带薪年假'],
'createTime': '2018-03-22 10:41:03',
'education': '本科',
'linestaion': '5号线_东四;5号线_张自忠路;5号线_北新桥;6号线_东四;6号线_南锣鼓巷',
'positionName': 'Python工程师',
'salary': '25k-35k',
'secondType': '后端开发'}
解析字典的时候会区分一下,然后获取总的页数,一般解析第一页就可以看到页数.然后进行循环爬取,进行解析。比如我们要获取职位的名称,职位的公司,职位的薪水,职位的城市和发布日期,这几个特征值,然后保存在一个字典列表里面即可!
4).数据的保存
常见的数据的保存我们一般用csv和json文件保存,csv文件一般都是先写一个头部,然后再把上面的字典列表数据一行一行存储在里面.json文件更方便了, 我们直接建一个文件dump一下就可以保存了
上面走一遍,感觉是不是很容易啊!如果你只看到这里,那么你离进阶又失之交臂了!
2.技术的反思
1).单线程to多线程
- 上面的爬取都是单线程的爬取,职位不是很多,如果几万或者几十万的数据呢!你顺序爬取,很显然太慢,需要考虑并发!
- 并发有多进程,多线程,线程池,或者用协程并发
2).断点续爬
上面的爬取没有考虑异常情况,如果爬取的过程出错了!怎么办,你需要重头爬取,不是一个明智之举,如何断点续传呢:
- 比较常用的做法是保存文件,然后续爬的时候,先检测文件是否存在,如果存在查一下职位的id是否已经在文件中,不在则爬,在则跳过爬下一个!
- 那有没有更好的办法呢,阿蔡建议用Redis来处理,一个牛逼的非常快速的内存数据库,爬取的时候只要监听
redis数据,思路类似上面的文件爬取.
3).增量爬取
我们的爬取都是当天的数据,如何考虑增量爬取,我们首先要对日期进行处理!拉勾上的职位很多发布日期都是相对时间,比如今天12:10,昨天8:00,如果考虑时间序列的增量,必须要把这些相对时间在爬取的时候,做数据清洗!
3.细节的推敲
- 比如我们保存多个爬取的数据的时候,是用列表存储,还是用双向列表!
- 构建一个字典的时候,如果获取的数据的值为空,比如薪资异常,有没有考虑到用缺省字典
- 我们爬取的时候,有没有考虑异常处理,如果出现了403反爬,是否用了随机代理和构建一个代理池来处理
- 循环保存的时候,要不要用yield迭代器会不会更快一点
当然这些是我想到的一部分,也许还有更多的细节需要推敲和挖掘,把代码写的更好更美,好的代码应该是改出来的,需要不断的重构。
4.兴趣是最大的动力
2周的训练,能坚持下来的并不多,最后交卷的只有四层左右,虽然是一个很小的实战项目!但是在前进的过程中,很多时候会被途中的风景所吸引而忘记了赶路,或者是走到了一般遇到了一些问题和障碍,不一定会坚持越过山丘! 一件事情能否做到底,取决于你对成功的欲望有多强烈,你越渴望成功,你的目标非常清晰,越容易坚持!
读者福利:知道你对Python感兴趣,便准备了这套python学习资料
👉[[CSDN大礼包:《python兼职资源&全套学习资料》免费分享]](安全链接,放心点击)
对于0基础小白入门:
如果你是零基础小白,想快速入门Python是可以考虑的。
一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案
包括:Python激活码+安装包、Python web开发,Python爬虫,Python数据分析,人工智能、机器学习等习教程。带你从零基础系统性的学好Python!
零基础Python学习资源介绍
- ① Python所有方向的学习路线图,清楚各个方向要学什么东西
- ② 600多节Python课程视频,涵盖必备基础、爬虫和数据分析
- ③ 100多个Python实战案例,含50个超大型项目详解,学习不再是只会理论
- ④ 20款主流手游迫解 爬虫手游逆行迫解教程包
- ⑤ 爬虫与反爬虫攻防教程包,含15个大型网站迫解
- ⑥ 爬虫APP逆向实战教程包,含45项绝密技术详解
- ⑦ 超300本Python电子好书,从入门到高阶应有尽有
- ⑧ 华为出品独家Python漫画教程,手机也能学习
- ⑨ 历年互联网企业Python面试真题,复习时非常方便
👉Python学习路线汇总👈
Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。(全套教程文末领取哈)
👉Python必备开发工具👈
温馨提示:篇幅有限,已打包文件夹,获取方式在:文末
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!