统计学习方法-第八章

提升方法

AdaBoost

算法如下：
(1)假设每个数据具有相同的权值，训练出基分类器$G_1(x)$,
(2.1)使用当前加权Dm，进行基分类器的学习$G_m(x)$。
(2.2)计算误差率，即分类结果与实际结果不相同
$$e_m=\sum _{i=1}^{N}P(G_m(x_i)̸=y_i)=\sum _{G_m(x_i)̸=y_i}{w}_{mi}$$
其中$w_{mi}$表示每个数据的权值，$\sum w_{mi}=1$。
(2.3)计算更新率${\alpha }_m$，$e_m$约大则${\alpha }_m$越小，说明占的比重越小
$${\alpha }_m=\frac{1}{2}log\frac{1-e_m}{e_m}$$
(2.4)更新权值
$$w_{m+1,i}=\{\begin{array}{cc}\frac{W_{m}i}{Z_m}{e}^{-{\alpha }_m},& G_m(x)=y_i\\ \frac{W_{m}i}{Z_m}{e}^{{\alpha }_m},,& G_m(x)̸=y_i\end{array}$$
其中Zm使规范化因子
$$Z_m=\sum _{i=1}^N{w}_{mi}exp(-{\alpha }_m{y}_i{G}_m(x_i))$$
(3)得到最终分类器，
$$G(x)=sign(f(x))=sign(\sum _{m=1}^M{\alpha }_m{G}_m(x_i))$$

向前分布算法

该算法的主要思想为优化损失函数，加法模型如下：
$$f(x)=\sum _{m=1}^M{\beta }_{m}b(x,{\gamma }_m)$$
其中，${\beta }_m$与AdaBoost算法中的${\alpha }_m$类似，为每步新加的东西的权重，$b(x,{\gamma }_m)$，则是与AdaBoost算法中的分类器类似，是一个加法器所加的东西。我们的目的就是优化损失函数:
$$mi{n}_{\beta ,\gamma }=\sum _{i=1}^{N}L(y_i,\sum _{m=1}^M{\beta }_{m}b(x_i,{\gamma }_m))$$
由于该函数模型的自由度太高，采用贪心算法，只优化每一步的最优值则得到最终的最优值得到优化结果，采用加法进行迭代
$$mi{n}_{\beta ,\gamma }=\sum _{i=1}^{N}L(y_i,\beta b(x_i,\gamma ))$$
算法如下：
已知：训练集T，损失函数L，基函数$b(x,{\gamma }_m)$
(1)初始化模型$f_0(x)=0$
(2.1)对m = 1，2，…，N
优化损失函数：
$$mi{n}_{\beta ,\gamma }=\sum _{i=1}^{N}L(y_i,f_{m-1}(x_i)+\beta b(x_i,\gamma ))$$
对式子求偏导通常可解出答案。得到$\beta ,\gamma$
(2.2)更新$f_m(x)=f_{m-1}(x_i)+\beta b(x_i,\gamma )$
(3)得到加法模型
$$f(x)=\sum _{m=1}^M{\beta }_{m}b(x,{\gamma }_m)$$
AdaBoost算法是向前分布算法的一个特例。

提升树模型

已知：训练集T，损失函数L，基函数$T(x,{\Theta }_m)$
初始化
$$f(x)=argmin\sum _{m=1}^{N}L(y_i,c)$$
对这个进行计算，
$$r_{mi}=-[\frac{\partial L(y_i,f(x_i))}{\partial f(x_i)}]$$
对$r_{mi}$拟合一个回归树，得到节点区域，对节点区域$R_{mj}$
$$c_{mj}=argmin\sum _{x_i\in R_{mi}}^{N}L(y_i,f_{m-1}(x_i)+c)$$
更新$f_m(x)=f_{m-1}(x)+{\sum }_{j=1}^J{c}_{mj}I(x\in R_{mj})$
继续拟合，得到回归树。