二手车交易价格预测-【数据的探索性分析（EDA）】

本文章为天池比赛参赛记录，共涉及【数据的探索性分析（EDA）】、【数据的特征工程】、【建模与调参】、【模型结果融合】四个部分，本文为第一部分。

比赛链接：https://tianchi.aliyun.com/competition/entrance/231784/information

教程链接：https://tianchi.aliyun.com/notebook-ai/detail?spm=5176.12586969.1002.12.1cd8593aw4bbL5&postId=95457

一、赛题数据

赛题以预测二手车的交易价格为任务，数据集报名后可见并可下载，该数据来自某交易平台的二手车交易记录，总数据量超过40w，包含31列变量信息，其中15列为匿名变量。为了保证比赛的公平性，将会从中抽取15万条作为训练集，5万条作为测试集A，5万条作为测试集B，同时会对name、model、brand和regionCode等信息进行脱敏。

字段表

Field	Description
SaleID	交易ID，唯一编码
name	汽车交易名称，已脱敏
regDate	汽车注册日期，例如20160101，2016年01月01日
model	车型编码，已脱敏
brand	汽车品牌，已脱敏
bodyType	车身类型：豪华轿车：0，微型车：1，厢型车：2，大巴车：3，敞篷车：4，双门汽车：5，商务车：6，搅拌车：7
fuelType	燃油类型：汽油：0，柴油：1，液化石油气：2，天然气：3，混合动力：4，其他：5，电动：6
gearbox	变速箱：手动：0，自动：1
power	发动机功率：范围 [ 0, 600 ]
kilometer	汽车已行驶公里，单位万km
notRepairedDamage	汽车有尚未修复的损坏：是：0，否：1
regionCode	地区编码，已脱敏
seller	销售方：个体：0，非个体：1
offerType	报价类型：提供：0，请求：1
creatDate	汽车上线时间，即开始售卖时间
price	二手车交易价格（预测目标）
v系列特征	匿名特征，包含v0-14在内15个匿名特征

二、评测标准

评价标准为MAE(Mean Absolute Error)。

MAE越小，说明模型预测得越准确。

 

三、EDA-数据探索性分析

3.1 EDA目标及实验内容

数据的探索性分析应该是对数据挖掘分析的第一步，因为数据挖掘通常涉及大量数据，仅通过直接观测数据很难发现数据隐含的关系，通过EDA方法可以直观的看到训练数据的特征与目标字段之间的关系，并且可以发现数据的异常情况，这个步骤对于后面的数据预处理和特征工程都具有很重要的意义。

 

3.2 代码示例

本人系统环境为win10，推荐使用Anaconda作为开发环境，可以单独创建实验环境并且可以在在软件上直接添加各种依赖包，十分方便，对于无法在列表中找到的包可以在cmd中激活虚拟环境，然后使用pip install安装，比如本次实验所需的missingno包就需要通过此方式进行安装。

3.2.1载入数据

## Step1:载入各种数据科学以及可视化库

#coding:utf-8
import warnings
warnings.filterwarnings('ignore')

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
import missingno as msno

## Step2:载入数据
# 通过Pandas对于数据进行读取 
Train_data = pd.read_csv('data/used_car_train_20200313.csv', sep=' ')
Test_data = pd.read_csv('data/used_car_testA_20200313.csv', sep=' ')

## Step3:简略观察前10条和后10条数据
Train_data.head().append(Train_data.tail())

SaleID	name	regDate	model	brand	bodyType	fuelType	gearbox	power	kilometer	...	v_5	v_6	v_7	v_8	v_9	v_10	v_11	v_12	v_13	v_14
0	736	20040402	30.0	6	1.0	0.0	0.0	60	12.5	...	0.235676	0.101988	0.129549	0.022816	0.097462	-2.881803	2.804097	-2.420821	0.795292	0.914762
1	2262	20030301	40.0	1	2.0	0.0	0.0	0	15.0	...	0.264777	0.121004	0.135731	0.026597	0.020582	-4.900482	2.096338	-1.030483	-1.722674	0.245522
2	14874	20040403	115.0	15	1.0	0.0	0.0	163	12.5	...	0.251410	0.114912	0.165147	0.062173	0.027075	-4.846749	1.803559	1.565330	-0.832687	-0.229963
3	71865	19960908	109.0	10	0.0	0.0	1.0	193	15.0	...	0.274293	0.110300	0.121964	0.033395	0.000000	-4.509599	1.285940	-0.501868	-2.438353	-0.478699
4	111080	20120103	110.0	5	1.0	0.0	0.0	68	5.0	...	0.228036	0.073205	0.091880	0.078819	0.121534	-1.896240	0.910783	0.931110	2.8345