[python爬虫可视化] 拉勾网python职位招聘数据

---

前言

诸如此类的文章不计其数，~~~~~~

---

---

开发工具

python 3.7

爬虫：requests模块

可视化：pyechart模块

其他的python标准模块：pickle,os,json

---

---

抓取目标是全国主要城市的招聘信息：

F12找了一下，发现：

通过一个post请求就可以获取数据：

 

post需要提供的参数如下（From Data这部分，对应requests的post方法的data参数）：

pn代表页码，kd代表关键词。

 

在爬取过程中，发现每次只能获取5页，这样我们就需要使用requests的session来保持会话，获取初次访问的cookies，并 使用这个cookies来继续请求，每请求5页重新建立一个session，继续请求。

爬虫部分代码如下：

 获取到了数据，保存为pkl序列化的文件，然后我们就可以进行数据的分析了

---

---

数据分析

 

首先，让我们先来看看python相关的岗位的薪资一般有多少吧：

最少是11.57k(均值)，最多则是25.14k(均值)，诡异，北京和天津不是挺近的嘛~，重庆直辖市还是不行啊，说到底还是北上广深杭州高薪。

再来看看岗位的学历要求呗(我爬取的城市的招聘数据综合起来的结果，下同)：

Emmmm，一般本科毕业就阔以了~

然后我们来看看工作性质呗：

OK，再来看看招聘Python相关岗位的公司的规模一般有多大吧：

 

迄今为止，代码测试无误。

 

QAQ，说实话，拉勾网的反爬做的还是可以的。