模型融合方法总结

1.简单平均

即各模型结果的均值

2.加权平均

各模型结果*权值再求和，其中权值通过交叉验证确定，权值之和为1

3.sigmoid平均

适合模型结果差异比较小的情况

4.bagging

从特征，参数，样本的多样性差异性来做多模型融合，参考随机森林

5.blending

首先将训练集分为两部分（D1和D2），一部分用于第一层（level 1）的训练，另一部分用于第二层（level 2）的训练。level1 在D1上训练了多个模型，将这些模型的预测结果作为level2的feature，在D2上训练第二层模型。

6.stacking

stacking在第一层模型中通过交叉验证的方式生成预测的label，作为第二层线性模型的输入特征（第一层有几个模型第二层就有几个特征），一般模型差异越大融合效果越好。实际中也可以将预测的几个label特征加入到原始特征中，然后用复杂模型再次训练。