15、数据分析--集成学习（二）

Boosting集成算法（实现的方式有很多）

​ Boosting(就像流水线一样的工作形式)通过串行地构造多个个体分类器，然后以一定的方式将他们组合 成一个强学习器

每个个体学习器训练数据集后都把总结给到强学习器和下一个个体学习器

​ Boosting在集成学习领域是非常耀眼的一类方法，其中又以AdaBoost和GBDT最为突出

​ AdaBoost是Adaptive Boosting的简称，在人脸识别（在深度学习成型前用Adaboost最多）和处理不均匀数据相关领域得到广泛引用；

​ GBDT 更是被称为最强学习器，在各类数据竞赛中得到追捧（因精度特别高）。这两类方法都是集成模型，其构造方 法是通过构造多个弱分类器来组成一个强分类器，且他们同属于Boosting框架

Adaboost（通过调整权重来进行算法梳理）和GBDT（精度最高的）之间的区别

​ 比如对容易预测错误的进行加权，容易预测正确的可以进行减权

​ AdaBoost“”“不属于梯度提升方法”“”（Gradient Boosting），即它在构造集成模型的时候没有用到梯 度下降的思想，而是用的 Forward Stagewise Additive Modeling （分步前向加性模型， FSAM）。

​ 基于Gradient Boosting算法的学习器被称为Gradient Boosting Machine（GBM），如果说 AdaBoost是boosting方法的开山之作，那么GBM就是boosting方法的集大成者。