机器学习算法（14）之boosting算法之Adaboost、GBDT

前言：我们讲到了集成学习按照个体学习器之间是否存在依赖关系可以分为两类，第一个是个体学习器之间不存在强依赖关系，另一类是个体学习器之间存在强依赖关系。后者的代表算法就是是boosting系列算法。本文就对boosting以及对其各种延伸算法做详细的推导。

注：这篇文章由于有很多数学公式，编辑起来很费力，所以很多会采取截图的方式来撰写，大部分来源于李航老师的《统计学习方法》。

---

1、boosting的原理

       Boosting每一次训练的时候都更加关心上一次分类错误的样例，给这些分类错误的样例更大的权重，下一次训练的目标就是能够更容易辨别出上一次分类错误的样例，最终将多次迭代训练得到的弱分类器进行加权相加得到最终的强分类器。

        Boosting算法的工作机制是首先从训练集用初始权重训练出一个弱学习器1，根据弱学习的学习误差率表现来更新训练样本的权重，使得之前弱学习器1学习误差率高的训练样本点的权重变高，使得这些误差率高的点在后面的弱学习器2中得到更多的重视。然后基于调整权重后的训练集来训练弱学习器2.，如此重复进行，直到弱学习器数达到事先指定的数目T，最终将这T个弱学习器通过集合策略进行整合