Adaboost与回归提升树

Adaboost：

以2分类为例，其最终分类器模型为：


即最终模型是由基本分类模型线性组合得到的，a 表示 G 在最终分类器中的重要性，所以 a > 0。
其损失函数为，正确分类时为 (0,1) 取值，误分类为 (1,+∞)

Adaboost将样本损失也看作样本权重**，令：

样本权重与上一轮的模型有关，初始时置为1：
总误差为：

将总误差变形为：

这个式子由于 w 可通过上轮模型算出，因此看作常量，进行归一化后对 a 求导：

即为 Gm 对应的权重 am。

将 am 代入原式化简后，原式变为：

所以应使得 Gm 对应的 em 尽可能小。
对于 w 的更新，有：

Adaboost实质为使用前向分步算法处理加法模型，每一步优化当前这个基本分类器，是一个近似优化。
详见《统计学习方法》8.3、8.1、8.2。

回归提升树：
基函数为二叉回归树，即决策树桩(一个根结点连接两个叶节点)：

由前向分步算法可得：

其中：

r 称为残差，即真实值与上一轮模型的输出的差值，初始时 r = yi 。
计算出每一轮的基函数 T，最终模型为：