集成学习之Bagging、AdaBoost、随机森林

集成学习：

是通过构建并且组合多个学习器来完成学习任务的算法，通过分为两大类。

（1）个体学习器之间存在强依赖的关系：Boosting

（2）个体学习器之间不存在强依赖的关系：Bagging/随机森林

Bagging的策略：

首先对训练的数据集进行多次的采样，保证每次得到的采样数据都是不同的；

其次是分别训练多个模型，例如树模型；

最后是预测时需得到所有模型结果再进行集成。

以上是自己做的小实验，第一个是使用了Bagging算法的，准确率达到90.4%；而第二个则是只是使用了决策树，准确率只有达到85.6%；明显，使用了集成学习算法之后，准确率还是得到了提升。

Bosting-提升策略：----->AdaBoost

主要的思想：是将关注点放在被错误分类的样本上，减少上一轮被正确分类的样本权值；提高上一轮被错误分类的样本权值。

 

 随机森林：

所谓的随机指的是：数据采样随机，特征选择也是随机的；

所谓的森林指的是：许多棵决策树并行放在一起。

 

Stacking（堆叠集成） 

​​​​​​​

Stacking是指训练一个模型用于组合其它模型(基模型/基学习器)的技术。即首先训练出多个不同的模型，然后再以之前训练的各个模型的输出作为输入来新训练一个新的模型，从而得到一个最终的模型。一般情况下使用单层的Logistic回归作为组合模型。