以二手车交易价格预测为例来入门数据挖掘,本部分对数据进行分析,从而理解熟悉数据,完成对数据的探索性分析。
1.引入各种数据科学以及可视化库:
1)数据科学库:
pandas、numpy、scipy
2)可视化库:
matplotlib、seaborn
2.载入数据:
载入数据集和测试集(pd.read_csv),简略管擦数据head()+shape,describe()+info(),熟悉数据统计量和类型
3.判断数据缺失和异常,isnull()
4.了解预测值的分布,画出无界约翰逊分布、正太分布、对数正态分布,分别计算偏度和峰度,可以看出无解约翰逊分布拟合效果最好
5.对数据进行特征分类,对类别特征查看unique分布
6.对数字特征进行相关性计算,并分别计算偏度和峰度,查看各特征直接的相关性
7.对类别特征进行可视化
8.生成数据报告
在将上述过程实现的过程中,有以下要点:
1.载入各种数据科学以及可视化库,直接pip install较慢,建议直接换成国内源下载,pip install xx -I 国内源
国内源:
清华:https://pypi.tuna.tsinghua.edu.cn/simple
阿里云:http://mirrors.aliyun.com/pypi/simple/
中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/
华中理工大学