集成学习精讲之Stacking和Blending（附源代码）

Stacking/Blending这两种集成学习方法的特点，一句话概括，就是以预测结果作为新特征进行训练。

我们分为5篇文章介绍集成学习，分别是：

1. 集成学习基础-偏差和方差 - 戳此阅读
2. Bagging - 戳此阅读
3. Boosting - 戳此阅读
4. Stacking/Blending
5. Voting/Averaging

本节课中，书中的人物小冰将一步一步的从老师咖哥身上学到Boosting的各种方法。

小冰开口问道：“集成学习，的确强大，从普通的决策树，到树的Bagging，到随机森林，到各种Boosting的手段，很长见识。然而这些大都是基于同一种机器学习算法的集成，而且基本都是在集成决策树。我的问题是，能不能集成不同类型的机器学习算法，比如随机森林啦、神经网络啦、逻辑回归啦，AdaBoost啦，然后优中选优，以进一步提升性能。”

咖哥点头微笑：“小冰，你的思路很对。集成学习，分为两大类。”

• 如果基模型都是通过一个基础算法生成