二手车交易价格预测_Task2_EDA

细节部分见链接Datawhale 零基础入门数据挖掘-Task2 数据分析

该文章主要是对于链接内容学习的笔记，以下提到的所有对training data的操作视情况需要在testing data上重复一遍

总览数据概况

拿到数据第一步就是进行describe, head, shape,info等操作总览一下

Train_data.head().append(Train_data.tail())
# 这里同时展示head和tail比单独head更好，因为有时候数据是基于某种特征排序的
#如果只用head，很可能看到的都是某一天的data或者某一笔订单的data
#而同时看head和tail可以更好地初步了解data

Train_data.shape()
>>> (150000, 31)

Test_data.shape()
>>> (50000, 30)

通过shape办法，我们得知traning data的column数比testing data多一，traing data多出来的一个feature其实是label，后续要记得分离出来避免数据泄露。

Train_data.info()

通过info方法,我们可以查看各个feature的dtype，绝大多数都是数值类型，因为这次的数据做了label encoding,即类别都用数字表示，但其中有一个np.object类：notRepairedDamage，np.object一般就是有字符变量，要关注一下

Train_data['notRepairedDamage'].value_counts()

可以看到这个feature掺入了一个str变量，这个变量是用来表示nan值的，我们把它转换为np.nan以方便直接调用对np.nan的操作

Train_data['notRepairedDamage'].replace('-', np.nan, inplace=True)

这时候再调用value_counts方法会发现np.nan是不显示在count里面的

Train_data.isnull().sum() #求缺省值数目

最后得到的结果，只有一部分feature有缺省值，其中notRepairedDamage最多。

import missingno as msno
msno.matrix(Train_data.sample(250))

这里提供了一种matplotlib和seaborn之外的可视化选择,可视化了缺省值。

这两个类别的分布极不平衡，对预测值几乎没有影响，删掉。
接下来观察label的分布




结果：不符合正态分布；log 正态分布虽然符合但是没有无界约翰逊分布fit得好

Skewness大于0说明右偏，右边有个long tail, Kurtosis大于0说明峰值位置要比正态分布更尖锐，绝对值大小表示程度。

查看label的频数，只要不是断层般出现的异常值，或者频率只有个位数，即使频率低也不该剔除。

log transformation是常用的feature transform trick，这样做之后往往可以得到不错的效果。

分离label, 防止数据泄露

因为这次的feature做了label encoding所以需要人为定义数值特征和类别特征。

相关性分析，相关性比较高的优先考虑，把太多feature丢进模型里既会降低训练速度，还可能对预测效果产生负面影响。

f , ax = plt.subplots(figsize = (7, 7))

plt.title('Correlation of Numeric Features with Price',y=1,size=16)

sns.heatmap(correlation,square = True,  vmax=0.8)

对相关性画个热力图是常见的可视化方式


分布太集中的对预测影响也不大可以删掉


可以看出匿名特征v1和v6是线性关系，可以只保留一个。
另外v5和v2与其它特征都是线性无关且成两列的形式，可以自定一个阈值把v5和v2转成两类的类别特征。
链接后面的部分是一堆可视化方法，暂时看不出有什么帮助，画图有帮助的也就相关性热力图和pairplot，后面的部分对于做报告可能比较有用。

import pandas_profiling
pfr = pandas_profiling.ProfileReport(Train_data)
pfr.to_file("./example.html")

传说中的一行代码生成数据分析报告，数据集大的时候比较耗时，跟跑个模型差不多。

总结

EDA能帮助我们做特征选择，特征转换，选择如何对缺省值进行填充，查看是否有异常值，等等。