5模型融合(stacking/blending/boosting/bagging)-零基础入门数据挖掘

1 模型融合包含哪些

1.1简单加权融合
回归（分类概率）：算术平均融合（Arithmetic mean）,几何平均融合（Geometric mean）
分类：投票（Voting）
综合：排序融合（Rank averaging）,log融合
1.2 stacking/blending
构建多层模型，并利用预测结果再拟合预测
1.3 boosting/bagging(在xgboost, Adaboost, GBDT中已经用到)
多树的提升方法

2 详解stacking/blending

2.1 Stacking思想简介

1.Stacking的思想是一种有层次的融合模型，比如我们将用不同特征训练出来的三个GBDT模型进行融合时，我们会将三个GBDT作为基层模型，在其上在训练一个次学习器（通常为线性模型LR）,用于组织利用基学习器的答案，也就是将基层模型的答案作为输入，让次学习器学习组织给基层模型的答案分配权重。
2.下图是个简单的例子，A、B是学习器，C、D、E是进行答案再组织的次学习器，次学习器会组织利用底层模型提供的答案。

2.2 Stacking过程解读

Stacking的主要思想是训练模型来学习使用