统计学习方法——提升方法（二）

提升方法（二）

AdaBoost算法的训练误差分析

• AdaBoost的训练误差界
  AdaBoost算法最终分类器的训练误差界为：
  $$\frac{1}{N}\sum _{i=1}^{N}I\left(G\left(x_i\right)̸=y_i\right)\le \frac{1}{N}\sum _i\exp \left(-y_{i}f\left(x_i\right)\right)=\prod _m{Z}_m$$
  其中$G\left(x_i\right)$，$f\left(x\right)$和$Z_m$的计算方法前面已经给出。
• 二分类问题AdaBoost的训练误差界
  $$\prod _{m=1}^M{Z}_m=\prod _{m=1}^M\left[2\sqrt{e_m\left(1-e_m\right)}\right]=\prod _{m=1}^M\sqrt{\left(1-4{\gamma }_m^2\right)}\le \exp \left(-2\sum _{m=1}^M{\gamma }_m^2\right)$$
  这里${\gamma }_m=\frac{1}{2}-e_m$。
  • 推论
    如果存在$\gamma >0$，对所有$m$有${\gamma }_m\ge \gamma$，则
    $$\frac{1}{N}\sum _{i=1}^{N}I\left(G\left(x_i\right)̸=y_i\right)\le \exp \left(-2M{\gamma }^2\right)$$

AdaBoost算法的解释

AdaBoost的另一种解释：AdaBoost算法是模型为加法模型、损失函数为指数函数、学习算法为前向分步算法时的二分类学习方法。

前向分步算法

考虑加法模型：
$$f\left(x\right)=\sum _{m=1}^M{\beta }_{m}b\left(x;{\gamma }_m\right)$$
其中$b\left(x;{\gamma }_m\right)$为基函数，${\gamma }_m$为基函数的参数，${\beta }_m$为基函数的系数。
在给定训练集及损失函数$L\left(y,f\left(x\right)\right)$的条件下，学习加法模型$f\left(x\right)$成为经验风险极小化即损失函数极小化问题：
$$\underset{{\beta }_m,{\gamma }_m}{\min }\sum _{i=1}^{N}L\left(y_i,\sum _{m=1}^M{\beta }_{m}b\left(x_i;{\gamma }_m\right)\right)$$

• 前向分布算法的求解思想
  因为学习的是加法模型，如果能够从前向后每一步只学习一个基函数及其系数，逐步逼近优化目标函数式，那么就可以简化优化的复杂度。
• 前向分步算法
  • 输入：训练数据集$T$，损失函数$L\left(y,f\left(x\right)\right)$，基函数集 { b ( x ; γ ) } \{b\left( {x;{\gamma}} \right)\} {b(x;γ)}；
  • 输出：加法模型$f\left(x\right)$
  • 流程：
    • 初始化$f_0\left(x\right)=0$
    • 对$m=1,2,\cdots ,M$
      • 极小化损失函数
        $$\left({\beta }_m,{\gamma }_m\right)=\arg \underset{\beta ,\gamma }{\min }\sum _{i=1}^{N}L\left(y_i,f_{m-1}\left(x_i\right)+\beta b\left(x_i;\gamma \right)\right)$$
        得到参数${\beta }_m，{\gamma }_m$。
      • 更新
        $$f_m\left(x\right)=f_{m-1}\left(x\right)+{\beta }_{m}b\left(x;{\gamma }_m\right)$$
    • 得到加法模型
      $$f\left(x\right)=f_M\left(x\right)=\sum _{m=1}^M{\beta }_{m}b\left(x;{\gamma }_m\right)$$

前向分步算法与AdaBoost

AdaBoost算法是前向分步加法算法的特例，这时，模型是由基本分类器组成的加法模型，损失函数是指数函数。

提升树

提升树模型

以决策树为基函数的提升方法称为提升树，提升树模型可以表示为决策树的加法模型：
$$f_M\left(x\right)=\sum _{m=1}^{M}T\left(x;{\Theta }_m\right)$$
其中$T\left(x;{\Theta }_m\right)$表示决策树、${\Theta }_m$为决策树的参数、$M$为树的个数。

提升树算法

• 输入：训练数据集$T$
• 输出：提升树$f_M\left(x\right)$
• 流程
  • 初始化$f_0\left(x\right)=0$
  • 对$m=1,2,\cdots ,M$
    • 计算残差：
      $$r_{mi}=y_i-f_{m-1}\left(x_i\right),i=1,2,\cdots ,N$$
    • 拟合残差$r_{mi}$学习一个回归树，得到$T\left(x;{\Theta }_m\right)$
    • 更新$f_m\left(x\right)=f_{m-1}\left(x\right)+T\left(x;{\Theta }_m\right)$
  • 得到回归问题提升树
    $$f_M\left(x\right)=\sum _{m=1}^{M}T\left(x;{\Theta }_m\right)$$

梯度提升算法

提升树利用加法模型与前向分步算法实现学习的优化过程，当损失函数为平方损失或指数损失时每一步优化很简单，但对一般损失函数而言，往往每一步都不容易，因此提出了梯度提升算法。

• 输入：数据集$T$和损失函数$L\left(y,f\left(x\right)\right)$
• 输出：回归树$\hat{f}\left(x\right)$
• 流程
  • 初始化：
    $$f_0\left(x\right)=\arg \underset{c}{\min }\sum _{i=1}^{N}L\left(y_i,c\right)$$
  • 对$m=1,2,\cdots ,M$
    • 对$i=1,2,\cdots ,N$，计算
      $$r_{mi}=-{\left[\frac{\partial L\left(y_i,f\left(x_i\right)\right)}{\partial f\left(x_i\right)}\right]}_{f\left(x\right)=f_{m-1}\left(x\right)}$$
    • 对$r_{mi}$拟合一个回归树，得到第$m$棵树的叶子结点区域$R_{mj},j=1,2,\cdots ,J$
    • 对$j=1,2,\cdots ,J$，计算
      $$c_{mj}=\arg \underset{c}{\min }\sum _{x_i\in R_{mj}}L\left(y_i,f_{m-1}\left(x_i\right)+c\right)$$
    • 更新$f_m\left(x\right)=f_{m-1}\left(x_i\right)+\sum _{j=1}^J{c}_{mj}I\left(x\in R_{mj}\right)$
  • 得到回归树
    $$\hat{f}\left(x\right)=f_M\left(x\right)=\sum _{m=1}^M\sum _{j=1}^J{c}_{mj}I\left(x\in R_{mj}\right)$$

参考文献

《统计学习方法》