集成学习笔记10-前向分步算法与梯度提升决策树

前向分步算法

对于之前的Adaboost，我们需要计算多个基本分类器的错误率、样本权重及模型权重来综合得到一个强分类器来解决分类问题。进一步，我们可以利用Adaboost的逻辑，构建前向分步算法，不仅可以解决分类问题，还可以解决回归问题。

• 加法模型

在Adaboost模型中，我们把每个基本分类器合成一个复杂分类器的方法是每个基本分类器的加权和，即：
$$f(x)=\sum _{m=1}^M{\beta }_{m}b\left(x;{\gamma }_m\right)$$
其中，$b\left(x;{\gamma }_m\right)$为基本分类器，${\gamma }_m$为基本分类器的参数，${\beta }_m$为基本分类器的权重。
在给定训练数据以及损失函数$L(y,f(x))$的条件下，学习加法模型$f(x)$就成为经验风险极小化即损失函数极小化问题：
$$\underset{{\beta }_m,{\gamma }_m}{\min }\sum _{i=1}^{N}L\left(y_i,\sum _{m=1}^M{\beta }_{m}b\left(x_i;{\gamma }_m\right)\right)$$
通常这是一个复杂的优化问题，很难通过简单的凸优化的相关知识进行解决。前向分步算法可以用来求解这种方式的问题，它的基本思路是：因为学习的是加法模型，如果从前向后，每一步只优化一个基函数及其系数，逐步逼近目标函数，那么就可以降低优化的复杂度。具体而言，每一步只需要优化：
$$\underset{\beta ,\gamma }{\min }\sum _{i=1}^{N}L\left(y_i,\beta b\left(x_i;\gamma \right)\right)$$

• 前向分步算法

给定数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } T=\left\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \cdots,\left(x_{N}, y_{N}\right)\right\} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}，$x_i\in X\subseteq {\mathbf{R}}^n$， y i ∈ Y = { + 1 , − 1 } y_{i} \in {Y}=\{+1,-1\} yi​∈Y={+1,−1}。损失函数$L(y,f(x))$，基函数集合 { b ( x ; γ ) } \{b(x ; \gamma)\} {b(x;γ)}，我们需要输出加法模型$f(x)$。

1. 初始化：$f_0(x)=0$
2. 对m = 1,2,…,M:
   (a) 极小化损失函数：
   $$\left({\beta }_m,{\gamma }_m\right)=\arg \underset{\beta ,\gamma }{\min }\sum _{i=1}^{N}L\left(y_i,f_{m-1}\left(x_i\right)+\beta b\left(x_i;\gamma \right)\right)$$
   得到参数${\beta }_m$与${\gamma }_m$
   (b) 更新：
   $$f_m(x)=f_{m-1}(x)+{\beta }_{m}b\left(x;{\gamma }_m\right)$$
3. 得到加法模型：
   $$f(x)=f_M(x)=\sum _{m=1}^M{\beta }_{m}b\left(x;{\gamma }_m\right)$$

这样，前向分步算法将同时求解从m=1到M的所有参数${\beta }_m$，${\gamma }_m$的优化问题简化为逐次求解各个${\beta }_m$，${\gamma }_m$的问题。

梯度提升决策树

1. 基于残差的提升树

   前面讲到的都是分类问题，实际上加法模型+前向分步算法也可以解决回归问题。首先要确定使用的基函数，我们采用决策树分类器作为基函数。确定了基函数还要确定每次提升的标准。我们不能再使用像Adaboost算法中使用的分类错误率来修正样本及分类器权重。我们可以通过拟合当前模型的残差来解决提升问题。
   提升树算法
   输入数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } , x i ∈ X ⊆ R n , y i ∈ Y ⊆ R T=\left\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \cdots,\left(x_{N}, y_{N}\right)\right\}, x_{i} \in {X} \subseteq \mathbf{R}^{n}, y_{i} \in {Y} \subseteq \mathbf{R} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)},xi​∈X⊆Rn,yi​∈Y⊆R，输出最终的提升树$f_M(x)$

   • 初始化$f_0(x)=0$
   • 对$m=1,2,\cdots ,M$：
     • 计算每个样本的残差:$r_{mi}=y_i-f_{m-1}\left(x_i\right),i=1,2,\cdots ,N$
     • 拟合残差$r_{mi}$学习一棵回归树，得到$T\left(x;{\Theta }_m\right)$
     • 更新$f_m(x)=f_{m-1}(x)+T\left(x;{\Theta }_m\right)$
   • 得到最终的回归问题的提升树：$f_M(x)={\sum }_{m=1}^{M}T\left(x;{\Theta }_m\right)$

2. 梯度提升

   提升树利用加法模型和前向分步算法实现学习的过程，当损失函数为平方损失和指数损失时，每一步优化是相当简单的，也就是我们前面探讨的提升树算法和Adaboost算法。但是对于一般的损失函数而言，往往每一步的优化不是那么容易，针对这一问题，我们采用梯度提升来解决。
   梯度提升，就是利用损失函数的负梯度在当前模型的值作为回归问题提升树算法中的残差的近似值。

   梯度提升算法

   输入训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } , x i ∈ X ⊆ R n , y i ∈ Y ⊆ R T=\left\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \cdots,\left(x_{N}, y_{N}\right)\right\}, x_{i} \in {X} \subseteq \mathbf{R}^{n}, y_{i} \in {Y} \subseteq \mathbf{R} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)},xi​∈X⊆Rn,yi​∈Y⊆R和损失函数$L(y,f(x))$，输出回归树$\hat{f}(x)$

   • 初始化$f_0(x)=\underset{c}{\mathrm{argmin}}\sum _{i=1}^{N}L(y_i,c)$
   • 对于$m=1,2,\cdots ,M$：
     • 对$i=1,2,\cdots ,N$计算：
       $$r_{mi}=-{\left[\frac{\partial L\left(y_i,f\left(x_i\right)\right)}{\partial f\left(x_i\right)}\right]}_{f(x)=f_{m-1}(x)}$$
     • 对$r_{mi}$拟合一个回归树，得到第$m$棵树的叶结点区域$R_{mj},j=1,2,\cdots ,J$
     • 对$j=1,2,\cdots ,J$，计算：
       $$c_{mj}=\arg \underset{c}{\min }\sum _{x_i\in R_{mj}}L\left(y_i,f_{m-1}\left(x_i\right)+c\right)$$
     • 更新
       $$f_m(x)=f_{m-1}(x)+\sum _{j=1}^J{c}_{mj}I\left(x\in R_{mj}\right)$$
   • 得到回归树：
     $$\hat{f}(x)=f_M(x)=\sum _{m=1}^M\sum _{j=1}^J{c}_{mj}I\left(x\in R_{mj}\right)$$