学习内容
1.线性回归模型:
线性回归对于特征的要求;
处理长尾分布;
理解线性回归模型;
2.模型性能验证:
评价函数与目标函数;
交叉验证方法;
留一验证方法;
针对时间序列问题的验证;
绘制学习率曲线;
绘制验证曲线;
3.嵌入式特征选择:
Lasso回归;
Ridge回归;
决策树;
4.模型对比:
常用线性模型;
常用非线性模型;
5.模型调参:
贪心调参方法;
网格调参方法;
贝叶斯调参方法;
相关原理
由于相关算法原理篇幅较长,这里附上相应的大神“小雨姑娘”的学习笔记。
1 线性回归模型
https://zhuanlan.zhihu.com/p/49480391
2 决策树模型
https://zhuanlan.zhihu.com/p/65304798
3 GBDT模型
https://zhuanlan.zhihu.com/p/45145899
4 XGBoost模型
https://zhuanlan.zhihu.com/p/86816771
5 LightGBM模型
https://zhuanlan.zhihu.com/p/89360721
6 推荐教材:
《机器学习》 https://book.douban.com/subject/26708119/
《统计学习方法》 https://book.douban.com/subject/10590856/
《Python大战机器学习》
https://book.douban.com/subject/26987890/
《面向机器学习的特征工程》 https://book.douban.com/subject/26826639/
《数据科学家访谈录》 https://book.douban.com/subject/30129410/
代码展示
来源:https://tianchi.aliyun.com/notebook-ai/detail?spm=5176.12586969.1002.18.1cd8593aw4bbL5&postId=95460
重要部分:
- reduce_mem_usage 函数通过调整数据类型,用于减少数据的内存占用
- 线性回归 & 五折交叉验证 & 模拟真实业务情况
- 对标签的分布进行查看,看看是否符合正态分布
- 绘制学习率曲线和验证曲线
- 模型调参方法
在此我们介绍了三种常用的调参方法如下:
贪心算法 https://www.jianshu.com/p/ab89df9759c8
网格调参 https://blog.csdn.net/weixin_43172660/article/details/83032029
贝叶斯调参 https://blog.csdn.net/linxid/article/details/81189154
学习总结:
本次新知识较多,通过课件和直播课有了初步印象,但学习较为仓促,对各个模型的用法和原理还未细细钻研。以前只会网格调参,这次了解了其他两种,还需多自己实现代码,内化成自己的知识。