模型融合
目的:对于多种调参完成的模型进行融合
类型:
- 简单加权融合
回归: 算术平均融合、几何平均融合
分类: 投票
综合: 排序融合、log融合 - stacking/blending
构建多层模型,并利用预测结果再拟合预测 - boosting/bagging
树提升
stacking
stacking就是用初始数据学习出若干个学习器后,将这几个学习器作为新的训练集,来学习一个新的学习器。
在不同模型预测的结果基础上,合并预测集,再加上一层模型,与真实训练集进行训练,从而得到模型的最终预测。但是使用初始模型训练过的标签再训练,可能会导致一定的模型过拟合情况,模型在测试集上的泛化能力会有一定的降低,这里有两种方法降低再训练的过拟合性。
- 次级模型尽量选择简单的线性模型
- 利用k折交叉验证