阅读本文大概需要3分钟(文末附Python学习资料)
菜鸟独白
我记得以前也有同学问过,到底学哪种语言好,春节又是招聘的旺季!因为我自己是玩数据分析的,比较喜欢探索数据!于是我们在小密圈两周前发一起了一个活动,一起来玩一个实战项目,爬取一些招聘数据。目的就是比较一下Python和Java的求职招聘情况.这是一个非常有意思的活动,我们来分享一下第一期的爬虫实战群的心得和项目的反思,值得你细细读一读!
1.先说一下分析的结果:
目前爬取的是拉勾网的数据:全国Python职位为1689,全国Java职位为4987个,Python那么火爆,怎么只有只有三分之一!于是我仔细看了一下近1700多职位:
Python这1700左右的职位主要是web开发,自动化运维,爬虫工程师等等。Python的主流可不单单是web开发!人工智能才是大餐,于是我又爬取了机器学习,数据挖掘,数据分析等等和Python相关的职位:
- 机器学习:全国有744职位
- 数据挖掘:全国有1190职位
- 数据分析:全国有3113职位
综合来看:Python VS Java ,从数量上看Java还是占优势,当然我们的数据分析是在第三期展开,会深度从多个维度进行对比分析。
也许有的时候结果并不是最重要的,下面来看一下这个爬虫项目的反思,过程有的时候比结果更重要,更值得细细体会!
2.爬虫项目的分析
一个数据分析的过程,一般分几步,数据的爬取->数据的清洗->数据的存储->数据可视化分析->再深一点就是数据挖掘!
用到的知识其实非常多,我们一共分了3期走:
- 第一期是爬取
- 第二期是存储
- 第三期是数据可视化
非常有趣的一个项目,至少我自己是很感兴趣的。
1).安装环境和工具的准备
工欲善其事,必先利其器!第一步是安装环境,推荐Pycharm,当然有人喜欢用sublime,Atom等等都可以,你自己用的顺手就可以了!爬虫用的库可以有很多选择,我们主推requests,解析的库用bs4,xpath,pyquery这些都可以,看你自己用的爽,用的熟练就行!
2).目标网站的分析
这次群里还请到了一位爬虫高手阿蔡的加入,以前一直玩爬虫的。加入了我们的实战群指点大家,拉勾的网站非常熟悉,我们可以有两种方法去爬取
- 手机网站的爬取,手机站点会容易很多,简单分析之后就可以得到网站的数据,几行代码就可以获取的json格式的职位数据集
- PC网站的爬取,PC端会稍微复杂一些,因为数据是动态加载的,仔细的分析http请求内容,也很快可以找到入口
3).数据的解析
因为我们返回的是json数据,非常好分析,建议可以用pprint这款神器库先打印一下,找到我们要的职位的数据!
手机端的数据长这样:
{'city': '上海',
'company_full_names': '拉扎斯网络科技(上海)有限公司',
'company_name': '饿了么',
'create_time': '2018-03-20',
'positionId': 2779439,
'positionName': 'Python开发工程师(全栈)',
'salary': '15k-25k'}
PC端的数据会稍微丰富一些,长这样:
{
'businessZones': ['东四', '美术馆', '北新桥'],
'city': '北京',
'companyFullName': '凡普金科企业发展(上海)有限公司',
'companyLabelList': ['年底双薪', '节日礼物', '技能培训', '带薪年假'],
'createTime': '2018-03-22 10:41:03',
'education': '本科',
'linestaion': '5号线_东四;5号线_张自忠路;5号线_北新桥;6号线_东四;6号线_南锣鼓巷',
'positionName': 'Python工程师',
'salary': '25k-35k',
'secondType': '后端开发'}
解析字典的时候会区分一下,然后获取总的页数,一般解析第一页就可以看到页数.然后进行循环爬取,进行解析。比如我们要获取职位的名称,职位的公司,职位的薪水,职位的城市和发布日期,这几个特征值,然后保存在一个字典列表里面即可!
4).数据的保存
常见的数据的保存我们一般用csv和json文件保存,csv文件一般都是先写一个头部,然后再把上面的字典列表数据一行一行存储在里面.json文件更方便了, 我们直接建一个文件dump一下就可以保存了
上面走一遍,感觉是不是很容易啊!如果你只看到这里,那么你离进阶又失之交臂了!
2.技术的反思
1).单线程to多线程
- 上面的爬取都是单线程的爬取,职位不是很多,如果几万或者几十万的数据呢!你顺序爬取,很显然太慢,需要考虑并发!
- 并发有多进程,多线程,线程池,或者用协程并发
2).断点续爬
上面的爬取没有考虑异常情况,如果爬取的过程出错了!怎么办,你需要重头爬取,不是一个明智之举,如何断点续传呢:
- 比较常用的做法是保存文件,然后续爬的时候,先检测文件是否存在,如果存在查一下职位的id是否已经在文件中,不在则爬,在则跳过爬下一个!
- 那有没有更好的办法呢,阿蔡建议用Redis来处理,一个牛逼的非常快速的内存数据库,爬取的时候只要监听
redis数据,思路类似上面的文件爬取.
3).增量爬取
我们的爬取都是当天的数据,如何考虑增量爬取,我们首先要对日期进行处理!拉勾上的职位很多发布日期都是相对时间,比如今天12:10,昨天8:00,如果考虑时间序列的增量,必须要把这些相对时间在爬取的时候,做数据清洗!
3.细节的推敲
- 比如我们保存多个爬取的数据的时候,是用列表存储,还是用双向列表!
- 构建一个字典的时候,如果获取的数据的值为空,比如薪资异常,有没有考虑到用缺省字典
- 我们爬取的时候,有没有考虑异常处理,如果出现了403反爬,是否用了随机代理和构建一个代理池来处理
- 循环保存的时候,要不要用yield迭代器会不会更快一点
当然这些是我想到的一部分,也许还有更多的细节需要推敲和挖掘,把代码写的更好更美,好的代码应该是改出来的,需要不断的重构。
4.兴趣是最大的动力
2周的训练,能坚持下来的并不多,最后交卷的只有四层左右,虽然是一个很小的实战项目!但是在前进的过程中,很多时候会被途中的风景所吸引而忘记了赶路,或者是走到了一般遇到了一些问题和障碍,不一定会坚持越过山丘! 一件事情能否做到底,取决于你对成功的欲望有多强烈,你越渴望成功,你的目标非常清晰,越容易坚持!
最后大家分享一份全套的 Python 学习资料,给那些想学习 Python 的小伙伴们一点帮助!
朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
👉[[CSDN大礼包:《python安装包&全套学习资料》免费分享]](安全链接,放心点击)
![](https://i-blog.csdnimg.cn/blog_migrate/77f53f90b5eb431a33ec6a094a25df6c.png)
一、Python所有方向的学习路线
Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。
二、Python必备开发工具
四、Python视频合集
观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
六、Python练习题
检查学习结果。
七、面试资料
我们学习Python必然是为了找到高薪的工作,下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料,并且有阿里大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的工作。
最后,千万别辜负自己当时开始的一腔热血,一起变强大变优秀。