集成学习（Bagging，Boosting） 简介

引言

一个人的力量是渺小的，但是一群人聚集到一起，就有了群体智慧。如在我们的城市的社会分工中，有的人是工程师，政客，有的人是建筑工人，有的人是教师，也有罪犯等等，每个人对这座城市都贡献着价值，整座城市也就井然有序，盎然向上，由于每个人对社会的作用不同，甚至有的为负贡献如罪犯等，如果有一个决策机关如政府的存在，就可以使数以百万人口的城市运作起来，而不是一盘散沙的存在。这种集聚群体智慧的思想，衍生出了一些优秀的算法，如bagging（减小方差）,boosting（减小偏差）算法。

集成学习思想

集成学习算法的主要思想是利用弱分类器组合成为一个强分类器。通过一些既定的模型规则，如设置不同的弱分类器有不同的权重，同时在模型训练的过程中，逐步迭代优化，使组合成的强分类器在一个既定的评价指标下更优。

集成算法分类

序列集成方法（boosting）
序列集成方法（boosting），序列方法的原理是通过权重分配机制，比如AdaBoost通过修改数据集不同样本的权重与弱分类器对最终强分类器贡献的权重，做到弱分类器加权多数表决的效果，即增大错误率小的分类器的权重，减小错误率较大的分类器的权重的方法进行加权组合。而梯度提升树GBDT通过拟合残差的方式逐步减小残差，将每一步生成的模型叠加得到新的模型，可以提高整体的预测效果。如下图所示：