数据分析岗位需求分析报告

1.前言

2.用到的工具

3.网页结构分析

4.数据预处理

5.数据分析岗位分布情况

5.1公司的城市分布

5.2公司的融资情况 

5.3岗位福利状况 

​ 6.数据分析岗位的发展状况

6.1各城市平均薪资待遇

6.2不同融资阶段平均工资待遇

7.数据分析师岗位招聘要求

7.1统计量描述 

7.2学历与职位需求

7.3学历水平与工资

7.4工作经验与职位需求

7.5工作经验与工资

8.附录(详细代码)：

8.1数据特征部分代码

8.2数据预处理部分代码 

8.3绘制词云图

8.4数据分析岗位要求部分代码

8.5拉勾网数据爬取部分代码

1.前言

"大数据",这个字眼是近几年比较火的一个名词,数据的价值正在各行各业发挥着越来越大的价值,销售行业通过销售数据的分析,对客户行为的画像(给客户贴标签),指定相应的销售策略提高销售业绩；以淘宝、京东商城等为代表的电商平台通过客户的购买行为,自动推荐符合客户"需求"的产品；以信贷公司、银行业等为主的金融公司通过分析客户的信用评估,对客户进行分级"打分",优先放款给"优质客户",等等。似乎,正在以一种偶像般的存在,影响着每一个人、每一个行业,鼓动着每一个"蠢蠢欲动"的人。然而,大多数的时候这个名词都被人误解或者过分渲染了。"管它黑猫白猫,能抓住老鼠的都是好猫",换句话说：管它是大数据还是一般数据,能支持经营管理决策的都是好数据。所以,从企业自身而言,首要任务是充分利用自身数据,推动经营决策。而对于个人,应该充分结合实际情况,认真做好自己的职业规划,而不是盲目跟风。结合自身的优势,忠于企业和个人,尽最大限度的发挥自身价值为企业和社会贡献出自己的一份力量。

本文笔者以一名正在转行路上的身份,爬取了拉勾网数据分析职位的前100页,共计1500条的招聘信息,通过数据挖掘,统计建模等方法,对数据分析职位特点及现状做一个分析。

2.用到的工具

Spyder3.6

requests: 下载网页

pandas：数据分析库

numpy：数组操作

matplotlib：绘图

wordcloud、jieba：生成中文词云

rcParams：使绘图能显示中文字体

3.网页结构分析

打开搜狗高速浏览器,在拉勾网首页搜索的“数据分析”职位,鼠标右击查看网页源文件,通过搜索相关关键字可以发现, 职位信息并不在源代码里。进一步抓包分析,点击审查元素(快捷键F12),可以发现职位信息隐藏于JSON的文件里,结合数据格式,我们选择用字典方法直接读取数据。

运行程序得到如下数据：(代码见附录)
因为文件是csv格式文件,建议用notepad或者WPS打开(直接用office Excel不支持会出现乱码)

4.数据预处理

为了保证后续分析的正常进行,需要对数据进行预处理。观看数据可以得出如下操作步骤：
(1).数据分析职位中可能存在"实习生岗位",需要对其进行剔除。
(2).表中的"工作经验"属于范围值,在此对其进行平均化处理。
(3).表中的"工资"也属于范围,在此也对其进行平均化处理,取中间值。
(4).删除冗余列,保存到新的表格。
处理后得到如下数据表：(代码见附录)

5.数据分析岗位分布情况

5.1公司的城市分布

由下图可以看出：北京数据分析师岗位需求占据了47.2%,上海地区21.9%,杭州地区9.6%,深圳地区8.6%,广州地区,南京地区等地区的岗位需=需求量紧随其后,基本上主要集中在一线城市和强二线城市中。

5.2公司的融资情况 

下图中可以看出,在招聘公司中：不需要融资的公司、上市公司、C轮融资阶段的公司对数据分析师的岗位需求量最大,A轮、D轮、B轮、未融资等阶段的公司紧随其后。说明发展相对成熟,稳健的公司有更大可能性需要数据分析岗位的人才。

5.3岗位福利状况 

针对爬取的拉勾网数据的职位福利,,进行jieba分词,并制作词云。出现频率最高的依次是：弹性工作、发展空间、氛围、工资等,从图中词频的频率可以看出,招聘岗位更注重职位的发展与员工的体验,其次是工资水平与各类奖金。

 
6.数据分析岗位的发展状况

6.1各城市平均薪资待遇

从图中可以看出各城市平均工资最高的是北京20.1469,其次上海、杭州、深圳、广州、南京、紧随其后,其中长春的平均工资值得商榷,因为从上数据分析师岗位需求上来看,长春的数据分析师需求量非常小。在此处作为异常值处理。

6.2不同融资阶段平均工资待遇

由下图可以看出,不同融资阶段公司对数据分析师给出的平均薪资略有不同,D轮、C轮、B轮、上市公司平均工资相对较大y一些。