Task 01赛题理解
学习目标
- 理解赛题数据和目标,清楚评分体系。
- 完成相应报名,下载数据和结果提交打卡(可提交示例结果),熟悉比赛流程
了解赛题
- 赛题概况
赛题以预测二手车的交易价格为任务,该数据来自某交易平台的二手车交易记录,总数据量超过40w,包含31列变量信息,其中15列为匿名变量。为了保证比赛的公平性,将会从中抽取15万条作为训练集,5万条作为测试集A,5万条作为测试集B,同时会对name、model、brand和regionCode等信息进行脱敏 - 数据概况
SaleID - 销售样本ID
name - 汽车编码
regDate - 汽车注册时间
model - 车型编码
brand - 品牌
bodyType - 车身类型
fuelType - 燃油类型
gearbox - 变速箱
power - 汽车功率
kilometer - 汽车行驶公里
notRepairedDamage - 汽车有尚未修复的损坏
regionCode - 看车地区编码
seller - 销售方
offerType - 报价类型
creatDate - 广告发布时间
price - 汽车价格
v_0’, ‘v_1’, ‘v_2’, ‘v_3’, ‘v_4’, ‘v_5’, ‘v_6’, ‘v_7’, ‘v_8’, ‘v_9’, ‘v_10’, ‘v_11’, ‘v_12’, ‘v_13’,‘v_14’ 【匿名特征,包含v0-14在内15个匿名特征】 - 预测指标
MAE(Mean Absolute Error)
其中 yi 代表第 i 个样本的真实值,其中 ^yi 代表第 i 个样本的预测值。
这个MAE自然是越小,模型效果越好。 - 分析赛题
Kaggle上有一句非常经典的话,数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限而已。因此,想要做好这个题目,首先得了解一些二手车交易基本的业务知识,以便我们更好的做特征工程。
这是一个典型的回归问题,我们可以从先从简单的回归模型尝试,如线性回归、逻辑斯蒂回归,到比较复杂的 集成算法如随机森林、xgboost等。baseline的特征选择十分简单,只是简单去除了具有脱敏信息的特征列,还去除了bodyType、fuelType、offerType三个离散型特征(这个不清楚为什么)。模型方面选择了xgb和lightgbm作为初级学习器,先分别预测,再做了一个简单的加权融合,提升空间应该是蛮大的。
总之,先不着急修改模型,先做做数据探索,了解了解业务信息再做进一步的打算。