使用交叉验证选择模型
在实际操作中特征和模型是需要不断尝试改进完善的;小雨大佬的经验是使用贪心策略先选择一个简单的模型,在这个模型上进行特征工程,将特征部分做到目前想不到办法能做任何改进的时候,再用交叉验证或者根据实际情况设计验证方法选择合适的模型。
- 线性回归模型:
- 线性回归对于特征的要求;
- 处理长尾分布;
- 理解线性回归模型;
- 模型性能验证:
- 评价函数与目标函数;
- 交叉验证方法;
- 留一验证方法;
- 针对时间序列问题的验证;
- 绘制学习率曲线;
- 绘制验证曲线;
- 嵌入式特征选择:
- Lasso回归;
- Ridge回归;
- 决策树;
- 模型对比:
- 常用线性模型;
- 常用非线性模型;
- 模型调参:
- 贪心调参方法;
- 网格调参方法;
- 贝叶斯调参方法;