第五次打卡 模型融合

模型融合

目的：对于多种调参完成的模型进行融合
类型：

1. 简单加权融合
   回归： 算术平均融合、几何平均融合
   分类： 投票
   综合： 排序融合、log融合
2. stacking/blending
   构建多层模型，并利用预测结果再拟合预测
3. boosting/bagging
   树提升

stacking

stacking就是用初始数据学习出若干个学习器后，将这几个学习器作为新的训练集，来学习一个新的学习器。

在不同模型预测的结果基础上，合并预测集，再加上一层模型，与真实训练集进行训练，从而得到模型的最终预测。但是使用初始模型训练过的标签再训练，可能会导致一定的模型过拟合情况，模型在测试集上的泛化能力会有一定的降低，这里有两种方法降低再训练的过拟合性。

1. 次级模型尽量选择简单的线性模型
2. 利用k折交叉验证