【我的数据挖掘竞赛之旅（二）】二手车交易价格预测——2020年天池阿里云竞赛Task4建模调参

5.1 学习目标

• 了解常用的机器学习模型，并掌握机器学习模型的建模与调参流程
• 完成相应学习打卡任务

5.2 内容介绍

1. 线性回归模型：
   • 线性回归对于特征的要求；
   • 处理长尾分布；
   • 理解线性回归模型；
2. 模型性能验证：
   • 评价函数与目标函数；
   • 交叉验证方法；
   • 留一验证方法；
   • 针对时间序列问题的验证；
   • 绘制学习率曲线；
   • 绘制验证曲线；
3. 嵌入式特征选择：
   • Lasso回归；
   • Ridge回归；
   • 决策树；
4. 模型对比：
   • 常用线性模型；
   • 常用非线性模型；
5. 模型调参：
   • 贪心调参方法；
   • 网格调参方法；
   • 贝叶斯调参方法；

5.3 相关原理介绍与推荐

由于相关算法原理篇幅较长，本文推荐了一些博客与教材供初学者们进行学习。

5.3.1 线性回归模型

https://zhuanlan.zhihu.com/p/49480391

5.3.2 决策树模型

https://zhuanlan.zhihu.com/p/65304798

5.3.3 GBDT模型

https://zhuanlan.zhihu.com/p/45145899

5.3.4 XGBoost模型

https://zhuanlan.zhihu.com/p/86816771

5.3.5 LightGBM模型

https://zhuanlan.zhihu.com/p/89360721

5.3.6 推荐教材：

• 《机器学习》 https://book.douban.com/subject/26708119/
• 《统计学习方法》 https://book.douban.com/subject/10590856/
• 《Python大战机器学习》 https://book.douban.com/subject/26987890/
• 《面向机器学习的特征工程》 https://book.douban.com/subject/26826639/
• 《数据科学家访谈录》 https://book.douban.com/subject/30129410/

5.4 模型调参部分

利用xgb进行五折交叉验证查看模型的参数效果

## xgb-Model
xgr = xgb.XGBRegressor(n_estimators=120, learning_rate=0.1, gamma=0, subsample=0.8,\
        colsample_bytree=0.9, max_depth=7) #