EDA(Exploratory Data Analysis) 数据探索:
是指对已有的数据(特别是调查或观察得来的原始数据)在尽量少的先验假定下进行探索,通过 作图、制表、方程拟合、计算特征量等手段探索数据的结构和规律的一种数据分析方法。
- 一、载入各种数据科学以及可视化库
如 pandas numpy matplotlib seaborn
- 二、载入数据
- 载入数据
## 1)载入训练集和测试集
Train_data = pd.read_csv(r'D:\study\OLL\used_car_train_20200313.csv', sep=' ')
Test_data = pd.read_csv(r'D:\study\OLL\used_car_testA_20200313.csv', sep=' ')
- 简略观察数据
1)head()
2)shape()
Train_data.head().append(Train_data.tail())
Train_data.shape
.head() 取前5行
.tail() 取后5行
(150000, 31) (行,列)
- 总览数据概况
1)describe() 熟悉相关统计量
Train_data.describe()
Test_data.describe()
- info() 熟悉数据类型
Train_data.info()
Test_data.info()
-
判断数据缺失和异常
1) 查看每列存在的nan情况
2) 哈看异常值检测 -
了解预测值的分布
1)总结分布概况(无界约翰逊分布等)
scipy.stats as st
st.johnsonsu
st.norm
st.lognorm
2)查看skewness and kurtosis 偏度和峰度
3)查看预测值的具体频数 -
特征分为类别特征和数字特征,并对类别特征查看unique分布
1)categorical_features
2)numeric_features -
数字特征分析
1)相关性分析
2)查看几个特征的偏度和峰值
3)每个数字特征的分布可视化
4)数字特征相互之间的关系可视化
5)多变量互相回归关系可视化 -
类别特征分析
1) unique 分布
2) 类别特征箱形图可视化
3) 类别特征的小提琴图可视化
4) 类别特征的柱形图可视化
5)类别特征的每个类别频数可视化 -
用pandas_profiling 生成报告