Datawhale 零基础入门数据挖掘-Task4 建模调参 四、建模与调参

地址：https://tianchi.aliyun.com/notebook-ai/detail?spm=5176.12586969.1002.3.1cd878d4CeYwIa&postId=95460

4.1 学习目标

• 了解常用的机器学习模型，并掌握机器学习模型的建模与调参流程
• 完成相应学习打卡任务

4.2 内容介绍

1. 线性回归模型：

• 线性回归对于特征的要求；
• 处理长尾分布；
• 理解线性回归模型；

2. 模型性能验证：

• 评价函数与目标函数；
• 交叉验证方法；
• 留一验证方法；
• 针对时间序列问题的验证；
• 绘制学习率曲线；
• 绘制验证曲线；

3. 嵌入式特征选择：

• Lasso回归；
• Ridge回归；
• 决策树；

4. 模型对比：

• 常用线性模型；
• 常用非线性模型；

5. 模型调参：

• 贪心调参方法；
• 网格调参方法；
• 贝叶斯调参方法；

4.3 相关原理介绍与推荐

由于相关算法原理篇幅较长，本文推荐了一些博客与教材供初学者们进行学习。

4.3.1 线性回归模型

https://zhuanlan.zhihu.com/p/49480391

4.3.2 决策树模型

https://zhuanlan.zhihu.com/p/65304798

4.3.3 GBDT模型

https://zhuanlan.zhihu.com/p/45145899

4.3.4 XGBoost模型

https://zhuanlan.zhihu.com/p/86816771

4.3.5 LightGBM模型

https://zhuanlan.zhihu.com/p/89360721

4.3.6 推荐教材：

• 《机器学习》 https://book.douban.com/subject/26708119/
• 《统计学习方法》 https://book.douban.com/subject/10590856/
• 《Python大战机器学习》 https://book.douban.com/subject/26987890/
• 《面向机器学习的特征工程》 https://book.douban.com/subject/26826639/
• 《数据科学家访谈录》 https://book.douban.com/subject/30129410/