拉勾数据岗位和热门编程语言现状分析

最新推荐文章于 2023-04-14 16:42:52 发布

weixin_33920401

最新推荐文章于 2023-04-14 16:42:52 发布

阅读量264

点赞数

文章标签： python java 爬虫

原文链接：https://segmentfault.com/a/1190000012262799

版权

功能点

爬取数据

所有公司数据，名称简写，城市，行业，职位数量，人数范围，标签，介绍，融资阶段，平均工资
github2016年度最受欢迎编程语言相应年数薪水，城市，学历要求，公司融资阶段，公司行业
大数据行业五大岗位相应年数薪水，城市，学历要求，公司融资阶段，公司行业，岗位要求

编程语言分析

编程语言在不同城市(top10)的需求量
编程语言在不同行业(top10)的需求量
编程语言在不同融资阶段的需求量
编程语言相应工作年限薪水平均值

大数据岗位分析

五个岗位的职位需求关键词词云
五个岗位在不同城市(top10)的需求量
五个岗位在不同行业(top10)的需求量
五个岗位在不同融资阶段的需求量
五个岗位相应工作年限薪水平均值

数据可视化

Bokeh
Echarts

开发工作

编写数据采集所用语言：python
针对拉勾网反爬虫的应对措施：
- 加http头伪装成浏览器；
- 找临界值更换IP；
- 限制爬取频率；
- 设置代理池。
使用多线程爬虫：提高效率
制作词云：jieba中文分词，自定义词典，wordcloud生成图片
分析结果可视化：bokeh，echarts

数据岗位分析结果

数据岗位不同城市需求增长趋势
2016.02数据

2017.05数据

可以看到TOP5城市依然未变，南京武汉的数据岗位增加明显，数量上而言，总体翻倍
数据分析岗位增长趋势
数据分析相关专业作为新兴行业在近一年来的发展势头迅猛，2016年10月之前的招聘信息十分稀少，但在短短四个月的时间内增长至一千多个。(2016.10-2017.1)
2017.02数据

2017.05数据
数据岗位工资水平两年内变化
2015年数据岗位相应工作年限平均工资

2017.05数据岗位相应工作年限平均工资数据
可以看出，两年内数据岗位的工资明显提高，起薪近乎涨了一倍，各个年限增长趋势也很明显。
数据挖掘工资趋势
2015.12数据

2017.05数据

总体都比两年前对应年薪高，并且高薪比例明显提高
数据岗位和普通开发不同年限工资对比
普通开发岗位工资水平

数据岗位工资水平

3-5年和5-10年的工资水平没有明显增长，也许说明重复的劳动不能代表技术的增长
数据岗位和普通开发岗位要求学历对比

可以看出，数据岗位对学历的要求较普通开发高，硕士的比例增加，并出现了博士的需求。
词云结果实例
数据架构师岗位要求词云

可以看出对架构师而言，“开发”还是最重要的，“架构设计”毫无疑问成为关键词，另外管理能力也有所要求
数据分析师岗位要求词云

可以看到数据分析师也需要掌握数据挖掘的技能。另外数学成为了一个关键词，编程语言主要是“SQL”,“SAS”等，运营也出现在词云中说明数据分析师也需要有运营能力。
数据挖掘岗位要求词云

可以看到算法成为了一大关键词，说明数据挖掘对算法的要求还是挺高的，另外“计算机”和“数学”成为了需求最多的两个专业，编程语言方面“SQL”,“ JAVA”,“ R”都有要求。
数据可视化岗位要求词云

可以看到前端成为了一个关键词，另外可视化相应的工具如“ECHARTS”等也出现在词云中，交互和开发同时出现，这在其他岗位是没有的，说明可视化还是需要视觉效果