模型融合是比赛后期上分的重要手段,特别是多人组队学习的比赛中,将不同队友的模型进行融合,可能会收获
意想不到的效果哦,往往模型相差越大且模型表现都不错的前提下,模型融合后结果会有大幅提升。
模型融合的方式
1. 平均:
a. 简单平均法
b. 加权平均法
2. 投票:
a. 简单投票法
b. 加权投票法
3. 综合:
a. 排序融合
b. log融合
4. stacking:
a. 构建多层模型,并利用预测结果再拟合预测。
5. blending:
a. 选取部分数据预测训练得到预测结果作为新特征,带入剩下的数据中预测。Blending只有一层,而Stacking有多层
6. boosting/bagging
stacking\blending详解
stacking
将若干基学习器获得的预测结果,将预测结果作为新的训练集来训练一个学习器。如下图 假设有五个基学习
器,将数据带入五基学习器中得到预测结果,再带入模型六中进行训练预测。但是由于直接由五个基学习器
获得结果直接带入模型六中,容易导致过拟合。所以在使用五个基模型进行预测的时候,可以考虑使用K折验
证,防止过拟合。
blending
与stacking不同,blending是将预测的值作为新的特征和原特征合并,构成新的特征值,用于预测。为了防止过
拟合,