数据挖掘-第一次参加天池比赛-探索性数据分析（EDA）

1.EDA目标
EDA的价值主要在于熟悉数据集，了解数据集，对数据集进行验证来确定所获得数据集可以用于接下来的机器学习或者深度学习使用。

当了解了数据集之后我们下一步就是要去了解变量间的相互关系以及变量与预测值之间的存在关系。

引导数据科学从业者进行数据处理以及特征工程的步骤,使数据集的结构和特征集让接下来的预测问题更加可靠。

完成对于数据的探索性分析，并对于数据进行一些图表或者文字总结并打卡。
2.具体常用步骤
（1） 载入各种数据科学以及可视化库:

• 数据科学库 pandas、numpy、scipy；
• 可视化库 matplotlib、seabon； 其他；

import pandas
import numpy
import matplotlib.pyplot as plt
import seaborn as seaborn
from scipy import stats

（2）载入数据：

• 载入训练集和测试集；
• 简略观察数据(head()+shape)；

path = 'E://Datawhale/二手车交易价格预测/'
Train_data = pd.read_csv(path+'used_car_train_20200313.csv', sep=' ')
Test_data = pd.read_csv(path+'used_car_testA_20200313.csv', sep=' ')

（3）数据总览:

• 通过describe()来熟悉数据的相关统计量

Train_data.describe()

• 通过info()来熟悉数据类型

Train_data.info()

（4）判断数据缺失和异常

• 查看每列的存在nan情况

Train_data.isnull().sum()

• 数据类型转换
  这里是将object转化成float

Train_data['notRepairedDamage'] = pd.to_numeric(Train_data['notRepairedDamage'])
Test_data['notRepairedDamage'] = pd.to_numeric(Test_data['notRepairedDamage'])

• 异常值检测
  异常值总用箱线图的内外限进行检测，计算四分位点与四分位距进行划分。

# 这里我包装了一个异常值处理的代码，可以随便调用。
def outliers_proc(data, col_name, scale=3):
    """
    用于清洗异常值，默认用 box_plot（scale=3）进行清洗
    :param data: 接收 pandas 数据格式
    :param col_name: pandas 列名
    :param scale: 尺度
    :return:
    """

    def box_plot_outliers(data_ser, box_scale):
        """
        利用箱线图去除异常值
        :param data_ser: 接收 pandas.Series 数据格式
        :param box_scale: 箱线图尺度，
        :return:
        """
        iqr = box_scale * (data_ser.quantile(0.75) - data_ser.quantile(0.25))
        val_low = data_ser.quantile(0.25) - iqr
        val_up = data_ser.quantile(0.75) + iqr
        rule_low = (data_ser < val_low)
        rule_up = (data_ser > val_up)
        return (rule_low, rule_up), (val_low, val_up)

    data_n = data.copy()
    data_series = data_n[col_name]
    rule, value = box_plot_outliers(data_series, box_scale=scale)
    index = np.arange(data_series.shape[0])[rule[0] | rule[1]]
    print("Delete number is: {}".format(len(index)))
    data_n = data_n.drop(index)
    data_n.reset_index(drop=True, inplace=True)
    print("Now column number is: {}".format(data_n.shape[0]))
    index_low = np.arange(data_series.shape[0])[rule[0]]
    outliers = data_series.iloc[index_low]
    print("Description of data less than the lower bound is:")
    print(pd.Series(outliers).describe())
    index_up = np.arange(data_series.shape[0])[rule[1]]
    outliers = data_series.iloc[index_up]
    print("Description of data larger than the upper bound is:")
    print(pd.Series(outliers).describe())
    
    fig, ax = plt.subplots(1, 2, figsize=(10, 7))
    sns.boxplot(y=data[col_name], data=data, palette="Set1", ax=ax[0])
    sns.boxplot(y=data_n[col_name], data=data_n, palette="Set1", ax=ax[1])
    return data_n
Train_data = outliers_proc(Train_data, 'power', scale=3)

（5）了解预测值的分布

• 总体分布概况（无界约翰逊分布等）
  很多模型的隐含建设就是预测值满足正态分布
• 查看skewness and kurtosis

print("Skewness: %f" % Train_data['price'].skew())
print("Kurtosis: %f" % Train_data['price'].kurt())

• 查看预测值的具体频数（当时没有使用可视化查看）

plt.hist(Train_data['price'], orientation = 'vertical',histtype = 'bar', color ='red')
plt.show()

（6）特征分为类别特征和数字特征，并对类别特征查看unique分布

numeric_features = ['power', 'kilometer', 'v_0', 'v_1', 'v_2', 'v_3', 'v_4', 'v_5', 'v_6', 'v_7', 'v_8', 'v_9', 'v_10', 'v_11', 'v_12', 'v_13','v_14' ]

categorical_features = ['name', 'model', 'brand', 'bodyType', 'fuelType', 'gearbox', 'notRepairedDamage', 'regionCode',]

（7）数字特征分析

• 相关性分析
• 查看几个特征得 偏度和峰值
• 每个数字特征得分布可视化
• 数字特征相互之间的关系可视化
• 多变量互相回归关系可视化

（8）类型特征分析（这里没有好好的处理）

• unique分布
• 类别特征箱形图可视化
• 类别特征的小提琴图可视化
• 类别特征的柱形图可视化类别
• 特征的每个类别频数可视化(count_plot)

（9）用pandas_profiling生成数据报告
对于数据较大的比较慢，生成的文件加载比较慢