零基础入门数据挖掘-二手车交易价格预测（Day1数据分析）

开题语

参加比赛的第一件事不是下数据，跑模型，而是要先静下心来读题，磨刀不误砍柴工。

赛题数据

赛题以预测二手车的交易价格为任务，该数据来自某交易平台的二手车交易记录，总数据量超过40w，包含31列变量信息，其中15列为匿名变量。为了保证比赛的公平性，将会从中抽取15万条作为训练集，5万条作为测试集A，5万条作为测试集B，同时会对name、model、brand和regionCode等信息进行脱敏。

该赛题是阿里天池新人入门赛，以二手车交易为背景，数据中包含了二手车的车况、品牌、里程数等信息，并对部分信息进行脱敏，同时还提供了15个匿名特征。最终预测销售的价格price。

字段表

评价标准

评价标准为MAE(Mean Absolute Error)。

可以看出，评价就是以预测的价格和实际的label值的差值的绝对值的均值，这是一个比较直观、简单的评价方式，对于初学者来说没有那么劝退。

探索性数据分析

探索性数据分析（Exploratory Data Analysis，简称EDA），摘抄网上的一个中文解释，是指对已有的数据（特别是调查或观察得来的原始数据）在尽量少的先验假定下进行探索，通过作图、制表、方程拟合、计算特征量等手段探索数据的结构和规律的一种数据分析方法。特别是当我们对面对大数据时代到来的时候，各种杂乱的“脏数据”，往往不知所措，不知道从哪里开始了解目前拿到手上的数据时候，探索性数据分析就非常有效。

探索性数据分析的计划

1、Form hypotheses/develop investigation theme to explore形成假设，确定主题去探索
2、Wrangle data清理数据 3、Assess quality of data评价数据质量 4、Profile data数据报表
5、Explore each individual variable in the dataset探索分析每个变量 6、Assess the
relationship between each variable and the target探索每个自变量与因变量之间的关系
7、Assess interactions between variables探索每个自变量之间的相关性 8、Explore data
across many dimensions从不同的维度来分析数据

基础操作（jupyter notebook环境下）

读csv数据

import numpy as np
import pandas as pd
## 通过Pandas对于数据进行读取 (pandas是一个很友好的数据读取函数库)
Train_data = pd.read_csv(r'E:\second_car\used_car_train_20200313.csv', sep=' ')
TestA_data = pd.read_csv(r'E:\second_car\used_car_testA_20200313.csv', sep=' ')
## 输出数据的大小信息
print('Train data shape:',Train_data.shape)
print('TestA data shape:',TestA_data.shape)

输出数据的大小信息

Train_data.head()#默认显示五行，可在括号内进行调节

这里要注意的是，在windows系统当中读取文件路径可以使用,但是在python字符串中\有转义的含义，如\t可代表TAB，\n代表换行，所以我们需要采取一些方式使得\不被解读为转义字符。
解决方法：
在路径前面加r，即保持字符原始值的意思。
替换为双反斜杠
替换为正斜杠

浏览数据

Train_data.head()#默认显示五行，可在括号内进行调节

查看简要信息

Train_data.info() 

可以看到数据列名，缺失信息和数据类型。
这里注意到notRepairedDamage（汽车有尚未修复的损坏：是：0，否：1）的数据类型是object，发现有’-'的存在，这可以算是NaN的一种，所以可以将其替换为NaN。

Train_data