【机器学习】集成学习：Boosting、Bagging 和 Stacking

一、集成学习概述

基分类器可能是同构的，也可能是异构的。

基分类器应该“好而不同”。

二、Boosting

分类器之前存在强依赖的关系，对分错的样本提高权重。代表算法：Adaboost。

三、Bagging

bagging的个体弱学习器的训练集是通过随机采样得到的。通过3次的随机采样，我们就可以得到3个采样集，对于这3个采样集，我们可以分别独立的训练出3个弱学习器，再对这3个弱学习器通过集合策略来得到最终的强学习器。

采样一般采用有放回抽样的Bootstrap方法（非参蒙特卡洛方法）。

随机森林是属于Bagging的一种算法，选择属性时从属性集合的一个子集中选取。

四、Stacking

将训练好的所有基模型对训练基进行预测，第j个基模型对第i个训练样本的预测值将作为新的训练集中第i个样本的第j个特征值，最后基于新的训练集进行训练。同理，预测的过程也要先经过所有基模型的预测形成新的测试集，最后再对测试集进行预测。

借鉴

https://zhuanlan.zhihu.com/p/39920405