模型融合方法分为以下几种:
1、平均法:分加权平均、简单平均;
2、投票法:绝对多数、相对多数和加权平均;
3、学习法:当训练数据较多时,通过另一个学习器来进行分类。
bagging: 并行,通过平均能够降低误差(有放回抽取k个训练集,训练模型k个),最后投票,通过数据的不同训练得到不同的分类器效果,如果分类器本身性能稳定,则整合的意义不大。例子:随机森林,树模型。
boosting: 串行,训练一系列弱分类器,利用模型之间的依赖,通过给错分样本更大的权重来提升性能,
stacking(结合策略):通过一个原分类器来整合多个分类器的集成学习技术。(异质集成)
stacking学习法:
首层分类器”准而不同“,次层分类器采用较为简单的分类器,如逻辑回归,一般两层即可,多层stacking会有更复杂的过拟合问题。
在两个任务上尝试过模型融合,但效果并不如单个xgboost好,模型融合并不是万能药,针对不同的情况,提升的效果不同,但前提都是要在数据量较大的情况下。