4.建模和调参
4.1 学习目标
- 了解常用的机器学习模型,并掌握机器学习模型的建模与调参模型
4.2 内容介绍
- 线性回归模型:
- 线性回归对于特征的要求
- 处理长尾分布
- 理解线性回归模型
- 模型性能验证:
- 评价函数与目标函数
- 交叉验证方法
- 留一验证方法
- 针对时间序列问题的验证
- 绘制学习率曲线
- 绘制验证曲线
- 嵌入式特征选择:
- Lasso回归
- Ridge回归
- 决策树
- 模型对比:
- 常用线性模型
- 常用非线性模型
- 模型调参:
- 贪心调参方法
- 网格调参方法
- 贝叶斯调参方法
4.3 代码示例
4.3.1 读取数据
首先通过更改数据的类型,以达到降低数据占用内存的目的。
4.3.2 线性回归&五折交叉验证&模拟真实业务情况
首先筛选出连续性变量,即去除数据中的类别变量以及label。
然后去除数据中的空值以及将‘-’替换为0,重置索引,并创建训练集和label.
- 简单建模
首先用线性回归对数据进行训练,然后绘制特征值与标签的散点图。