Ensemble操作，很常用！！ 简单的boosting ,bagging 和stacking策略原理

集成学习：

通过训练多个个体学习器，训练一个强学习器

 

类似于boosting的算法原理：

由图可知：

1）先训练一个弱学习器，不断更新初始化权重

2）提高误差率高的训练样本点的权重，将其作为第二个弱学习器的初始化权重

3）最后将所有所有弱学习器结联

 

bagging：

区别：1）每个弱分类器的数据集随机采样获得

          2） 每个弱分类器之间没有直接关系

 

结合策略：

1）投票！！ （简单投票，过半投票，加权投票） 

2)stacking方法(即相当于训练一个全连接层，将所有弱分类器的进行剪裁汇总（dropout）)，训练一个汇总学习器

3)平均法:对弱分类器的输出结果进行平均