接上一篇:用Excel做一次数据分析(一)——爬取前程无忧(51job)的招聘信息
得到了数据(截止2020-8-12)后,接下来可以开始数据清洗和分析的工作了:
总体步骤:
数据获取——这里用python爬取前程无忧的招聘信息;
明确分析目的——你拿这数据要得到什么信息,解决什么问题;
观察数据——各个数据字段的含义,中英文释义;
数据清洗——无效值、缺失值、重复值处理,数据结构是否一致等;
分析过程——围绕目的展开分析;
制作可视化——做图表做可视化报告
一、明确目的
数据分析的大忌是不知道分析的方向和目的,拿着一堆数据不知所措。数据用来解决什么问题?
是进行汇总统计制作成报表?
是进行数据可视化,作为一张信息图?
是验证某一类业务假设?
是希望提高某一个指标的KPI?
要知道一切数据分析都是以业务为核心目的,所以要找到业务问题的思考点。关于找到问题的切入点,之前数据分析思维篇讲过。永远不要妄图在一堆数据中找结论,目标在前,数据在后,哪怕是把数据做个平均值比较,也比没有方向好。每一步尝试都会引发进一步思考,比如为什么这个值这么低,原因在哪里,这个差异波动有何规律……
所以,分析前不妨先来看一下我们爬的数据:
比如我想成为一名数据分析师,可能会关注的是:
目前数据分析师的平均薪资水平如何,薪资的区间分布如何
各地区对分析工程师的需求量是多少,哪些地区设岗最多。
不同年限的分析工程师薪资差异如何,3年后我差不多是什么样的价位?
薪水较高的公司有哪些?
带着这样的问题,那我们的分析就有了方向,后续则是将目标拆解为实际分析展示的过程
探索数据
大概看一下数据全不全,各个字段的含义,单位(量纲)、格式是否一致,是否有空值?
各个字段含义:
岗位名称、公司名称、工作地点、薪水、工作经历和学历最低要求、公司类型、公司规模、公司领域
数据预处理
数据预处理一般包括数据清洗、数据变换、数据集成、数据归约、离散化等:
(1)数据清洗
一般包括无效值、缺失值、重复值处理;
数据是否有乱码,错位现象;
数据口径问题,两张表的关联ID名是否一致;
还有是否有统一的标准或命名,如公司名全写或缩写的区分。
(2)数据转换则是将数据规整为统一格式处理。
(3)数据集成主要是指多种数据源汇集到一起,放入一个数据仓库的过程,主要有实体识别、冗余属性识别、数据值冲突等
(4)数据归约是保证原始信息不丢失的情况下,减少分析使用的数据量,常使用方式是维归约
接下来进行数据清洗。
1、有无缺失值
数据的缺失会很大程度影响分析结果。数据缺失的原因很多,比如数据采集的时候,因为技术的原因,爬虫没有完全抓去。但工作上更多的原因是数据入库的时候就没有收集全,有没填有遗漏,这又是数据规范数据治理的话题了。一般来说,如果某一字段数据缺失超过40%~50%,就没有分析意义了,考虑删除或作其他措施。
看数据有没有缺失,只要在Excel中选中该列看计数就行。
发现salary字段有缺失,即有些公司没有表明薪酬。缺失值不多,可以直接删除处理。
点击-筛选,选择空白