A-07 前向分步算法

前向分步算法

前向分步算法引入

  假设Nick的年龄是25岁。

1. 第1棵决策树

把Nick的年龄设置成初始值0岁去学习，如果第1棵决策树预测Nick的年龄是12岁，即残差值为$25-12=13$
2. 第2课决策树
1. 把Nick的年龄设置成残差值13岁去学习，如果第2棵决策树能把Nick分到13岁的叶子节点，累加两棵决策树的预测值加和$12+13=25$，就是Nick的真实年龄25岁
2. 如果第2棵决策树的得到的是10岁，残差值为$25-12-10=3$
3. 第3课决策树

把Nick的年龄设置成残差值3岁去学习……
4. 继续重复上述过程学习，不断逼近Nick的真实年龄

前向分步算法详解

加法模型

  加法模型(additive model)一般表示为弱学习器加和
$$f(x)=\sum _{t=1}^T{\theta }_{t}b(x;{\gamma }_t)$$
其中$b(x;{\gamma }_t)$为弱学习器，${\gamma }_t$为弱学习器的参数，${\theta }_t$为弱学习器的系数。

加法模型目标函数优化问题

  给定训练数据以及目标函数$L(y,f(x))$，加法模型的经验风险最小化问题既可以变为目标函数最小化问题
$$\underset{{\theta }_t,{\gamma }_t}{\underbrace{min}}\sum _{i=1}^{m}L(y_i,\sum _{t=1}^T{\theta }_{t}b(x_i;{\gamma }_t))$$
  上述加法模型的目标函数优化问题是一个很复杂的优化问题，但是通过前向分布算法(forward stagewise algorithm)可以解决这一问题，它的思想是：因为学习问题是加法模型，所以每一步只学习一个弱学习器及其系数，然后逐步逼近优化目标函数，也就是说，每一步只需要优化如下所示的目标函数
$$\underset{\theta ,\gamma }{\underbrace{min}}\sum _{i=1}^{m}L(y_i,\theta b(x_i;\gamma ))$$

前向分步算法流程

输入

  有$m$个数据$n$个特征的训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x m , y m ) } T=\{(x_1,y_1),(x_2,y_2),\cdots,(x_m,y_m)\} T={(x1​,y1​),(x2​,y2​),⋯,(xm​,ym​)}；目标函数$L(y,f(x))$；弱学习模型集 { b ( x ; γ t ) } , ( t = 1 , 2 , ⋯   , T ) \{b(x;\gamma_t)\},\quad(t=1,2,\cdots,T) {b(x;γt​)},(t=1,2,⋯,T)，在Boosting算法中$T$相当于弱学习器的个数。

输出

  加法模型$f(x)$。

流程

1. 初始化$f_0(x)=0$
2. 对$t=1,2,\cdots ,T$
   1. 极小化目标函数
      $$({\theta }_t,{\gamma }_t)=\underset{\theta ,\gamma }{\underbrace{argmin}}\sum _{i=1}^{m}L(y_i,f_{t-1}(x_i)+\theta b(x_i;\gamma ))$$
      得到参数${\theta }_t,{\gamma }_t$
   2. 更新
      $$f_t(x)=f_{t-1}(x)+{\theta }_{t}b(x;{\gamma }_t)$$
3. 得到加法模型

$$f(x)=f_T(x)=\sum _{t=1}^T{\theta }_{t}b(x;{\gamma }_t)$$