模型融合:对调参完成的模型进行融合,一般在整个过程的后期进行,基于多个比较好的模型,融合后才有好的效果。
方法:
简单加权融合:
回归(分类概率):
算术平均融合(Arithmetic mean),几何平均融合(Geometric mean);权重的差异不要太大
分类模型:
投票(Voting),分为硬投票和软投票,原理是少数服从多数。硬投票:对多个模型直接进行投票,不区分模型结果的相对重要度,最终投票数最多的类为最终被预测的类。软投票:增加了设置权重的功能,可以为不同模型设置不同权重,进而区别模型不同的重要度
综合:
排序融合(Rank averaging),log融合
Stacking/Blending:
构建多层模型,并利用预测结果再拟合预测。
先学习一个初级的模型,然后用初级的模型训练次级的模型,从而得到完整的stacking模型。
为了防止过拟合,通常次级的模型尽量选择简单的线性模型
boosting/bagging(在xgboost,Adaboost,GBDT中已经用到):
多树的提升方法
不同的方法需要多尝试才知道结果,有时简单融合不容易过拟合。