前言
诸如此类的文章不计其数,~~~~~~
开发工具
python 3.7
爬虫:requests模块
可视化:pyechart模块
其他的python标准模块:pickle,os,json
抓取目标是全国主要城市的招聘信息:
F12找了一下,发现:
通过一个post请求就可以获取数据:
post需要提供的参数如下(From Data这部分,对应requests的post方法的data参数):
pn代表页码,kd代表关键词。
在爬取过程中,发现每次只能获取5页,这样我们就需要使用requests的session来保持会话,获取初次访问的cookies,并 使用这个cookies来继续请求,每请求5页重新建立一个session,继续请求。
爬虫部分代码如下:
获取到了数据,保存为pkl序列化的文件,然后我们就可以进行数据的分析了
数据分析
首先,让我们先来看看python相关的岗位的薪资一般有多少吧:
最少是11.57k(均值),最多则是25.14k(均值),诡异,北京和天津不是挺近的嘛~,重庆直辖市还是不行啊,说到底还是北上广深杭州高薪。
再来看看岗位的学历要求呗(我爬取的城市的招聘数据综合起来的结果,下同):
Emmmm,一般本科毕业就阔以了~
然后我们来看看工作性质呗:
OK,再来看看招聘Python相关岗位的公司的规模一般有多大吧:
迄今为止,代码测试无误。
QAQ,说实话,拉勾网的反爬做的还是可以的。