51 Job招聘数据分析与可视化

招聘数据分析与可视化

背景

为了分析现有数据行业的招聘情况，抓取2017年3月14日到2017年5月13日发布在51Job上的数据相关招聘职位116273条信息，并从中筛选出职位是数据分析、数据挖掘、文本挖掘、视觉学习、计算广告、数据开发、数据架构师等的数据岗位招聘信息10134条。
从地域分布、企业情况、岗位需求、薪酬等维度去量化分析数据岗位的招聘现状。发现不同薪酬分层下的岗位数量基本与城市发展趋势、行业汇聚、人才聚集呈现正比。
地域分布上，大数据的发展，当前最活跃于发达的一线城市以及沿海地区，但是二线城市中杭州、南京、成都、武汉也是可以选择的。
企业情况上，行业主要集中在电子商务、金融、IT软件等轻资产企业，同时，零售、电信也具有一定需求；企业属性主要是民企、合资企业和上市公司三大类，民营企业占据半边天；企业规模上，数据岗位只有在一定规模的企业，才能凸显重要性，50~500人之间的企业成为主要的岗位提供者。
选择企业行业、企业性质、企业规模、工作地域、学历、技能（r，sas、python、hadoop、spark、excel、java、sql、hive、hbase），其中技能做二值化处理进行模型构建。使用SAS EM进行建模，利用树代替对数值和属性变量进行补缺，最优转换进行变量转换，比较Logistc回归、神经网络、随机森林、梯度Boosting和决策树。

数据抽取

爬虫获取