集成学习之boosting（4）

第四章：集成学习之Boosting提升法

四、前向分步算法

4.1 加法模型

加法模型(additive model)又叫可加模型。

在Adaboost模型中，我们把每个基本分类器合成一个复杂分类器的方法是每个基本分类器的加权和，即：
$$f(x)=\sum _{m=1}^M{\beta }_{m}b\left(x;{\gamma }_m\right)$$，其中，$b\left(x;{\gamma }_m\right)$为即基本分类器，${\gamma }_m$为基本分类器的参数，${\beta }_m$为基本分类器的权重。
在给定训练数据以及损失函数$L(y,f(x))$的条件下，学习加法模型$f(x)$就是：
$$\underset{{\beta }_m,{\gamma }_m}{\min }\sum _{i=1}^{N}L\left(y_i,\sum _{m=1}^M{\beta }_{m}b\left(x_i;{\gamma }_m\right)\right)$$

4.2 前向分步算法

但是有个缺点：
通常这是一个复杂的优化问题，很难通过简单的凸优化的相关知识进行解决。
所以：
前向分步算法可以用来求解这种方式的问题，它的基本思路是：因为学习的是加法模型，如果从前向后，每一步只优化一个基函数及其系数，逐步逼近目标函数，那么就可以降低优化的复杂度。具体而言，每一步只需要优化：
$$\underset{\beta ,\gamma }{\min }\sum _{i=1}^{N}L\left(y_i,\beta b\left(x_i;\gamma \right)\right)$$
贪心算法。

给定数据集
T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } x i ∈ X ⊆ R n y i ∈ Y = { + 1 , − 1 } T=\{(x_{1}, y_{1}),(x_{2}, y_{2}), \cdots,(x_{N}, y_{N})\}\\ x_{i} \in \mathcal{X} \subseteq \mathbf{R}^{n}\\ y_{i} \in \mathcal{Y}=\{+1,-1\} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}xi​∈X⊆Rnyi​∈Y={+1,−1}
损失函数$L(y,f(x))$，基函数集合 { b ( x ; γ ) } \{b(x ; \gamma)\} {b(x;γ)}，我们需要输出加法模型$f(x)$。

• 初始化：$f_0(x)=0$
• 对m = 1,2,…,M:
  • (a) 极小化损失函数：
    $$\left({\beta }_m,{\gamma }_m\right)=\arg \underset{\beta ,\gamma }{\min }\sum _{i=1}^{N}L\left(y_i,f_{m-1}\left(x_i\right)+\beta b\left(x_i;\gamma \right)\right)$$
    得到参数${\beta }_m$与${\gamma }_m$
  • (b) 更新：
    $$f_m(x)=f_{m-1}(x)+{\beta }_{m}b\left(x;{\gamma }_m\right)$$
• 得到加法模型：
  $$f(x)=f_M(x)=\sum _{m=1}^M{\beta }_{m}b\left(x;{\gamma }_m\right)$$

这样，前向分步算法将同时求解从m=1到M的所有参数${\beta }_m$，${\gamma }_m$的优化问题简化为逐次求解各个${\beta }_m$，${\gamma }_m$的问题。

回顾：
adaboost算法是前向分步加法算法的特例。这时，模型是由基本分类器组成的加法模型，损失函数是指数函数。

五、梯度提升决策树(GBDT)

5.1 基于残差学习的提升树算法

误差的误差。
模仿分类错误率，我们用每个样本的残差表示每次使用基函数预测时没有解决的那部分问题。因此，我们可以得出如下算法：
输入数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } , x i ∈ X ⊆ R n , y i ∈ Y ⊆ R T=\left\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \cdots,\left(x_{N}, y_{N}\right)\right\}, x_{i} \in \mathcal{X} \subseteq \mathbf{R}^{n}, y_{i} \in \mathcal{Y} \subseteq \mathbf{R} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)},xi​∈X⊆Rn,yi​∈Y⊆R，输出最终的提升树$f_M(x)$

• 初始化$f_0(x)=0$
• 对m = 1,2,…,M：
  • 计算每个样本的残差，相当于一个新的样本，y标签改变了:
    $$r_{mi}=y_i-f_{m-1}\left(x_i\right),i=1,2,\cdots ,N$$
  • 拟合残差$r_{mi}$学习一棵回归树，得到$T\left(x;{\Theta }_m\right)$
  • 更新$f_m(x)=f_{m-1}(x)+T\left(x;{\Theta }_m\right)$
• 得到最终的回归问题的提升树：$f_M(x)={\sum }_{m=1}^{M}T\left(x;{\Theta }_m\right)$

(1)
(2)

(3)

(4)

5.2 梯度提升决策树算法(GBDT)：

看不动了，留坑吧。