Task 09 Boosting

Boosting与Bagging有着截然不同的思想。
Boosting方法是使用同一组数据集进行反复学习，得到一系列简单模型，然后组合这些模型构成一个预测性能十分强大的机器学习模型。

• Boosting思想是通过不断减少偏差的形式
• Bagging主要通过降低方差的方式减少预测误差

Boosting两类常用方法：Adaptive Boosting 和 Gradient Boosting 以及它们的变体Xgboost、LightGBM以 及Catboost。

Boosting方法的基本思路
两个概念

• 弱学习：识别错误率小于1/2（即准确率仅比随机猜测略高的学习算法）
• 强学习：识别准确率很高并能在多项式时间内完成的学习算法

在PAC 学习的框架下，强可学习和弱可学习是等价的。
提升方法就是从弱学习算法出发，反复学习，得到一系列弱分类器(又称为基本分类器)，然后通过一定的形式去组合这些弱分类器构成一个强分类器。大多数的Boosting方法都是通过改变训练数据集的概率分布(训练数据不同样本的权值)，针对不同概率分布的数据调用弱分类算法学习一系列的弱分类器。

对于Boosting方法来说，有两个问题需要给出答案：第一个是每一轮学习应该如何改变数据的概率分布，第二个是如何将各个弱分类器组合起来。

最经典的Boosting算法----Adaboost
对于Adaboost来说，解决上述的两个问题的方式是：

1. 提高那些被前一轮分类器错误分类的样本的权重，而降低那些被正确分类的样本的权重。这样一来，那些在上一轮分类器中没有得到正确分类的样本，由于其权重的增大而在后一轮的训练中“备受关注”。
2. 各个弱分类器的组合是通过采取加权多数表决的方式，具体来说，加大分类错误率低的弱分类器的权重，因为这些分类器能更好地完成分类任务，而减小分类错误率较大的弱分类器的权重，使其在表决中起较小的作用。

推导
AdaBoost算法使用加法模型，损失函数为指数函数，学习算法使用前向分步算法。加法模型为：

指数损失函数为：

前向算法的意思就是下一步的推导计算要用上一步的结果，因此我们需要最小化下面的式子

另外Adaboost模型的决策边界比单层决策树的决策边界要复杂的多。也就是说，Adaboost试图用增加模型复杂度而降低偏差的方式去减少总误差，但是过程中引入了方差，可能出现国拟合，因此在训练集和测试集之间的性能存在较大的差距，这就简单地回答的刚刚问题。值的注意的是：与单个分类器相比，Adaboost等
Boosting模型增加了计算的复杂度，在实践中需要仔细思考是否愿意为预测性能的相对改善而增加计算成本，而且Boosting方式无法做到现在流行的并行计算的方式进行训练，因为每一步迭代都要基于上一部的基本分类器。

图片以及参考资料来源：https://www.jianshu.com/p/514af421aa89
datawhale集成学习（中）