我的第一篇CSDN博客——零基础入门数据挖掘 - 二手车交易价格预测Task1赛题理解

本文链接：https://blog.csdn.net/weixin_57107764/article/details/115681175

2021年4月营期组队学习Datawhale零基础入门数据挖掘 - 二手车交易价格预测Task1赛题理解

1 比赛目的

在我的理解中，本次组队学习以Datawhale零基础入门数据挖掘——二手车交易价格预测长期赛作为参考学习，目的是为参加阿里云天池河北高校数据挖掘邀请赛做包括熟悉比赛内容、流程、参与方式以及设计算法等内容的准备，两个比赛除了数据集有一定差异外，别的部分基本上都是一样的。另外，就算不参加河北高校数据挖掘邀请赛，也可以在这次组队学习的过程中学习、熟练运用CSDN等技术博客的写作、Python语言编程以及天池云环境开发等知识技能。

2 赛题理解

零基础入门数据挖掘 - 二手车交易价格预测（现为长期赛，本篇博客以该比赛为准）：
https://tianchi.aliyun.com/competition/entrance/231784/information
河北高校邀请赛——二手车交易价格预测（正式赛，2021年4月30日结赛）：
https://tianchi.aliyun.com/competition/entrance/531858/information

2.1 赛题概况

赛题的任务是根据数据集预测二手车的交易价格，比赛所使用的来自某交易平台的二手车交易记录数据集在报名后可下载，总数据量超过40w，包含31列变量信息，其中15列为匿名变量。为了保证比赛的公平性，将会从中抽取15万条作为训练集，5万条作为测试集A，5万条作为测试集B，同时会对name、model、brand和regionCode等信息进行脱敏。

2.2 数据概况

数据集包含已知特征和匿名特征，匿名特征，就是未告知数据列所属的性质的特征列。比赛界面有对除匿名特征的数据的概况介绍，说明列的性质特征，这有助于我们对数据的理解和分析。下表是比赛界面对于数据集train.csv 的说明：

Field	Description
SaleID	交易ID，唯一编码
name	汽车交易名称，已脱敏
regDate	汽车注册日期，例如20160101，2016年01月01日
model	车型编码，已脱敏
brand	汽车品牌，已脱敏
bodyType	车身类型：豪华轿车：0，微型车：1，厢型车：2，大巴车：3，敞篷车：4，双门汽车：5，商务车：6，搅拌车：7
fuelType	燃油类型：汽油：0，柴油：1，液化石油气：2，天然气：3，混合动力：4，其他：5，电动：6
gearbox	变速箱：手动：0，自动：1
power	发动机功率：范围 [ 0, 600 ]
kilometer	汽车已行驶公里，单位万km
notRepairedDamage	汽车有尚未修复的损坏：是：0，否：1
regionCode	地区编码，已脱敏
seller	销售方：个体：0，非个体：1
offerType	报价类型：提供：0，请求：1
creatDate	汽车上线时间，即开始售卖时间
price	二手车交易价格（预测目标）
v系列特征	匿名特征，包含v0-23在内24个匿名特征

2.3 预测指标

本赛题的评价标准为MAE(Mean Absolute Error):
$MAE=\frac{\sum_{i=1}^{n}\left|y_{i}-\hat{y}_{i}\right|}{n}$
其中 $y_{i}$ 代表第 $i$ 个样本的真实值，其中 $\hat{y}_{i}$ 代表第 $i$ 个样本的预测值。其MAE越小，说明模型预测得越准确，比赛的排名越高。

2.4 赛题分析

在我看来，该赛题是一个回归问题，预测目标是二手车交易价格，我们的目标就是通过数据分析方法找到与现实最接近的二手车交易价格与其他15个已知变量和15个匿名变量的映射关系。我们要找的映射关系函数由于匿名特征的存在，并没有一个明确的函数构造，只能假定它是一个30维的并且很可能是非线性以及非齐次的函数，光是想想就知道用一般的数据分析方法来解决该问题需要多么庞大的计算量，这就要求我们使用更科学的计算方法。目前来看，数据挖掘的机器学习和深度学习方法是一个合适的选择，这也是我在本次组队学习过程中的重点学习内容之一。

3 Python与天池云环境

3.1 Python的使用

大多数人使用 Python 作为机器学习的首选语言大致原因是：Python 语法结构清晰，支持很多高级数据类型，方便对数据进行分析、易于操作纯文本，方便获取数据、比较流行，文档丰富，模块众多（尤其是科学计算和绘图模块），方便进行机器学习、开源免费、易于理解和编写，不用在语法上耗费大量精力、执行效率低的缺点可以通过使用 Python 调用C语言编译的代码的方式被克服等等。本次比赛也要求我们使用Python语言进行代码的编写，因此学会Python十分必要，这也是我本次组队学习的重点学习内容之一。

3.2 天池云环境

天池实验室，实时在线的数据分析协作工具，以天池Notebook集成机器学习PAI DSW（DataScienceWorkshop）探索者版为底座，为大家提供了完备的Python集成开发云环境以及阿里云提供的CPU/GPU等丰富的计算资源。它为想要学习Python和使用Python进行科学计算的人省去了大量麻烦，同时阿里云天池还为初学者提供了大量教程，因此它是我目前学习Python和数据挖掘的主要平台。