Task2-EDA(Exploratory Data Analysis)

EDA(Exploratory Data Analysis) 数据探索：
是指对已有的数据（特别是调查或观察得来的原始数据）在尽量少的先验假定下进行探索，通过 作图、制表、方程拟合、计算特征量等手段探索数据的结构和规律的一种数据分析方法。

• 一、载入各种数据科学以及可视化库
  如 pandas numpy matplotlib seaborn
  
• 二、载入数据
  1. 载入数据

## 1）载入训练集和测试集
Train_data = pd.read_csv(r'D:\study\OLL\used_car_train_20200313.csv', sep=' ')
Test_data = pd.read_csv(r'D:\study\OLL\used_car_testA_20200313.csv', sep=' ')

2. 简略观察数据
   1)head()
   2)shape()

Train_data.head().append(Train_data.tail())
Train_data.shape

.head() 取前5行
.tail() 取后5行

(150000, 31) (行，列)

3. 总览数据概况
   1)describe() 熟悉相关统计量

Train_data.describe()
Test_data.describe()

2. info() 熟悉数据类型

Train_data.info()
Test_data.info()

4. 判断数据缺失和异常
   1） 查看每列存在的nan情况
   2） 哈看异常值检测

5. 了解预测值的分布
   1）总结分布概况(无界约翰逊分布等)
   scipy.stats as st
   st.johnsonsu
   st.norm
   st.lognorm
   2）查看skewness and kurtosis 偏度和峰度
   3）查看预测值的具体频数

6. 特征分为类别特征和数字特征，并对类别特征查看unique分布
   1）categorical_features
   2)numeric_features

7. 数字特征分析
   1）相关性分析
   2）查看几个特征的偏度和峰值
   3）每个数字特征的分布可视化
   4）数字特征相互之间的关系可视化
   5）多变量互相回归关系可视化

8. 类别特征分析
   1） unique 分布
   2） 类别特征箱形图可视化
   3） 类别特征的小提琴图可视化
   4） 类别特征的柱形图可视化
   5）类别特征的每个类别频数可视化

9. 用pandas_profiling 生成报告