二手车售价预测 赛题理解与EDA
一、赛题理解
1.1讲座重难点
-
赛题理解的关键(包括但不仅限)
-
比赛的注意事项(数据源、特征说明、任务目标、评价指标(优化的方向))
-
题目所给数据的隐藏条件
-
-
实战的一般流程
由自己写的或者官方的Baseline
1.2对于本次题目的理解
1.2.1题目介绍
给了一堆脱敏后的德国二手车数据(超370,000条样本),训练集 ‘used_car_train_20200313.csv’ 包含了20个特征,10万条数据,测试集一共有两个,各5万条测试样本。赛题要求用已知数据,预测而二手车的数量。
1.2.2问题分析
这是一道传统的结构性数据挖掘题目,使用机器学习或深度学习等方法进行建模得到回归预测的结果。
思路如下:
- 由EDA(Exploratory Data Analysis)对数据进行探索,熟悉所给数据
- 由EDA的结果对样本特征进行特征工程
- 模型的训练
- 调整参数与模型融合
- 结果可视化与分析
1.2.3模型评价指标
M
A
E
(
M
e
a
n
A
b
s
o
l
u
t
e
E
r
r
o
r
)
MAE(Mean Absolute Error)
MAE(MeanAbsoluteError)
M
A
E
=
1
N
∑
i
=
1
N
∣
y
i
−
y
^
i
∣
MAE= \dfrac{1}{N} \sum_{i=1}^{N} \left| y_{i}- \hat y_{i} \right|
MAE=N1∑i=1N∣yi−y^i∣
二、EDA的处理
1. pandas.DataFrame.select_dtypes 中对列名的筛选.
Parameter
include,exculede(类似列表)
包含/排除dtype或字符串的列表。
必须为至少其中之一传递非空序列。
return
DataFrame(源DF的一个子集)
raises
ValueError
- include,exculede都为空
- include,exculede包含重叠元素
- 传入任何的字符串dtype
**TypeError**
传入参数不是序列
2.EDA绘图经验
- 时序图 观察变量间的周期、振幅
- 直方图、密度曲线 观察变量的分布情况
- 多元图散点 观察变量间相关性
- 箱型图、小提琴图 观察数据异常