数据挖掘入门 Task 5 模型融合

模型融合的目标：对于多种调参完成的模型进行模型融合。

大体来说有如下的类型方式。

1. 简单加权融合:
   • 回归（分类概率）：算术平均融合（Arithmetic mean），几何平均融合（Geometric mean）；
   • 分类：投票（Voting)
   • 综合：排序融合(Rank averaging)，log融合

1. stacking/blending:
   • 构建多层模型，并利用预测结果再拟合预测。

1. boosting/bagging（在xgboost，Adaboost,GBDT中已经用到）:
   • 多树的提升方法

Stacking理论

1）概念：当用初始训练数据学习出若干个基学习器后，将这几个学习器的预判结果作为新的训练集，来学习一个新的学习器。