模型融合 --stacking

模型融合方法分为以下几种：

1、平均法：分加权平均、简单平均；
2、投票法：绝对多数、相对多数和加权平均；
3、学习法：当训练数据较多时，通过另一个学习器来进行分类。

bagging: 并行，通过平均能够降低误差（有放回抽取k个训练集，训练模型k个），最后投票，通过数据的不同训练得到不同的分类器效果，如果分类器本身性能稳定，则整合的意义不大。例子：随机森林，树模型。

boosting: 串行，训练一系列弱分类器，利用模型之间的依赖，通过给错分样本更大的权重来提升性能，

stacking（结合策略）：通过一个原分类器来整合多个分类器的集成学习技术。（异质集成）

stacking学习法：
首层分类器”准而不同“，次层分类器采用较为简单的分类器，如逻辑回归，一般两层即可，多层stacking会有更复杂的过拟合问题。

在两个任务上尝试过模型融合，但效果并不如单个xgboost好，模型融合并不是万能药，针对不同的情况，提升的效果不同，但前提都是要在数据量较大的情况下。