统计学习方法笔记：第八章.提升方法

第八章：提升方法

提升方法是将弱学习方法提升为强学习方法的统计学习方法；在分类问题中，提升方法通过反复修改训练数据的权值分布（对比之前的一些算法，基本上都认为所有训练数据的概率分布是一致的），构建一系列基本分类器弱分类器，然后将这些分类器线性组合，即得到强分类器；

Adaboost 算法

1. 初始化权值（一般认为刚开始的概率分布均匀）

2. 建立 m 个弱分类器：
   (1). 按照某一算法（决策树、逻辑回归）对训练集进行分类，得到基本分类器$G_m$;
   (2).计算分类误差率（与权重也有关）：（第一步中已经计算出来，因为要选择使得误差分类率（基尼指数、信息熵）最低的那一个分类器）

   $e_m=\sum _{i=1}^{N}P(G_m(x_i)\ne y_i)=\sum _{i=1}^N{w}_{mi}I(G_m(x_i)\ne y_i)$

   (3).计算$G_m(x)$的系数：

   $a_m=\frac{1}{2}log\frac{1-e_m}{e_m}$

   表示分类误差越低的那些分类器，在最终的线性组合中权重越大；
   (4).更新各个训练样本权值$w_{mi}$

   $w_{m+1,i}=\frac{w_{m,i}}{Z_m}exp(-{\alpha }_m{y}_i{G}_m(x_i)),i=1,2,...,n$

   $Z_m=\sum _{i=1}^N{w}_{mi}exp(-{\alpha }_m{y}_i{G}_m(x_i))$ 为规范化因子，使得 w 构成一个概率分布；

3. 构建基本分类器的线性组合

Adaboost算法：模型为‘加法模型’；损失函数（策略）为‘指数函数’；学习方法为前向分步算法时的二类学习方法；

而提升树算法则是基函数为决策树的提升方法；

Adaboost的训练误差分析

Adaboost算法的最基本的性质是它能在学习的过程中不断减少训练误差，即在训练数据上的分类误差率：

$\frac{1}{N}\sum _{i=1}^{N}I(G(x_i)\ne y_i)\le \frac{1}{N}\sum _{i=1}^{N}exp(-y_{i}f(x_i))=\prod _m{Z}_m$

$Z_m=\sum _{i=1}^N{w}_{mi}exp(-{\alpha }_m{y}_i{G}_m(x_i))$ 为规范化因子

特别地，在二类分类问题中：

$Z_m\le exp(-2\sum _{m=1}^M{\gamma }_m^2),{\gamma }_m=\frac{1}{2}-e_m;$

上式表面，Adaboost算法的分类误差率是以$指数速率$下降的；

前向分步算法

前项分步算法是一种求解$加法模型$参数（基函数的参数和系数）的最优化方法：

基本思想：
因为学习的是加法模型，如果能够从前向后，每一步只学习一个基函数及其系数，逐步逼近优化目标函数式（$每次使一个基函数的损失函数值最小$）:

$({\beta }_m,{\gamma }_m)=arg\underset{\beta ,\gamma }{\min }\sum _{i=1}^{N}L(y_i,\beta (x_i,\gamma ));$

$f(x)=\sum _{m=1}^M{\beta }_{m}b(x;{\gamma }_m);$

提升树算法

提升树算法就是以$分类树或回归树为基本分类器$的提升方法。

分类问题只需把相应的基本分类器改成决策树就行了，下面给出回归$某一段区间内对输出Y的预测，区别于对样本的分类（y=0或1）$提升树的算法：

1. 初始化$f_0(x)=0$;

2. 对于 m = 1,2,…M：

   • 树可以表示为：$T(x;\Theta )=\sum _{j=1}^J{c}_{j}I(x\in R_j)，R_j$是被分的某一个输入空间，$c_j$是该子集的固定输出（由属于该子集的$训练数据输出y的均值$得来，具体可参见第五章回归树模型）
   • 计算残差：$r_{mi}=y_i-f_{m-1}(x_i),i=1,2,...,N$
   • 拟合残差（平方误差）学习一个回归树，得到$T(x;{\Theta }_m)$（m=0的时候，即拟合原始的输出值得到树$T(x,{\Theta }_1$）
   • 更新$f_m(x)=f_{m-1}(x)+T(x;{\Theta }_m)$

3. 得到回归问题提升树：
   $f_M(x)=\sum _{m=1}^{M}T(x;{\Theta }_m)$

梯度提升

梯度提升是针对那些优化损失函数不是那么容易的问题（不太好计算，平方误差损失函数就很好计算），$用损失函数在当前模型的负梯度作为回归问题提升树算法中残差的近似值$

$r_{mi}=-[L(y_i,f(x_i){]}_{f(x_i)}^{\prime },f(x_i)=f_{m-1}(x)$