​案例 - 数据分析师市场需求 - 202301

0. 项目介绍

0.1 背景

浪浪山的小野猪，想了解下外面的世界。

0.2 整体框架

1. 数据获取

1.1 目标网站

猎聘网，数据仅作为个人分析使用

1.2 抓取工具

八爪鱼。Python也可以抓，猎聘的反爬比较简单，高效免费的原则，建议使用现成工具，配置采集睡眠，我最终的采集速度大约是10/s

1.3 抓取逻辑

北京 - 数据分析岗位 - 企业岗位。按照城区、岗位发布日期、经验要求3个tag进行循环，尽量获取完整数据。如果不做筛选，最多获取400条数据（10页，每页40条）

图：八爪鱼抓取配置

2. 数据清洗

• 按照HR名称+岗位名称+公司名称进行数据去重；
• 融资情况，整理为天使轮、A轮、B轮、C轮、D轮、已上市、其他投融资；
• 学历要求，整理为专科、本科、硕士、博士、学历不限；
• 剔除非数据分析相关数据，剔除实习岗位 按照年薪 = 薪水区间均值 * 薪资月数，将薪水统一转化为年薪，没有说明薪资月数的按照13薪计算。剔除薪酬大于200的极端异常值。

图 - 薪酬明细分布

3. 数据可视化

3.1 可视化平台

本次分析使用的是 网易有数平台，选择这个平台主要是因为近1年多工作中使用较多，其次是可以使用echarts绘制一些复杂的组件。

3.2 看板截图

4. 结论

1. 从城区分布来看，北京数据分析岗位需求集中于朝阳、海淀，两区岗位数占比约50%。从商圈分布来看，中关村、国贸、亦庄科创街、丰台科技园集中度较高；
2. 从学历要求来看，数据分析岗的门槛为本科学历，超过90%的岗位要求学历本科及以上。存在9%岗位要求专科学历，但专科岗位薪酬总体偏低。本科平均年薪集中于19-42W，硕士平均年薪集中于20-38W，整体无明显差异。博士学历平均年薪集中于30-44W，中位数38W，较本科、硕士有较大提升；
3. 从经验要求来看，3-5年需求量最大占比32%，其次是5-10年占比28%，薪酬跟从业年限呈明显正相关，从业10年以上的岗位薪酬有比较明显的提升；
4. 结合经验和学历来看，入门期（1-3年）学历越高的薪酬待遇越高；发展期（5-10年）学历对薪酬待遇的影响减小，尤其是本科和硕士的待遇趋于平衡；成熟期（10年以上）这个阶段的岗位多为科学家、专家或管理岗，高学历成为岗位发展的一个重要门槛；
5. 目前互联网行业仍是数据分析岗的主要需求行业，提供了22%的岗位，仅字节、美团就提供了361个岗位。

5.局限性

1. 数据为截面数据，无法做对比分析 》》》 计划年后再拿一批数据做对比
2. 源数据中存在一些干扰数据，比如岗位名称为“内容分发”，会被数据分析关键字请求召回，且工作描述中也有数据相关工作，目前是保留这些数据