一、明确需求(目的)
首先要明确分析的目标以及项目的负责
二、数据收集
可以通过SQL、爬虫、调研等方式,收集数据
三、数据探索
1、数据结构初步探索
3.1 数据维度:shape、info、head
3.2 缺失值:isnull()、notnull()
3.3 异常值
3.4 重复值:drop_duplicates()
2、变量之间关系
通过groupby()、values_counts()、自定义函数、变量之间的线性相关检验等方式
3、可视化分析
通过可视化软件,对数据进行可视化分析
四、数据清洗
缺失值、异常值、重复值的处理
五、数据预处理(特征工程)
这步骤本质可以归为数据清洗,旨在为后续建模梳理好数据
1、筛选变量
过滤掉相关性较弱或者不