电信保温杯笔记——《统计学习方法（第二版）——李航》第8章 提升方法

论文

Boosting算法：《A Short Introduction to Boosting》
AdaBoost算法：《A Decision-Theoretic Generalization of On-Line Learning and an Application to Boosting》
提升树算法：《Additive logistic regression: a statistical view of boosting (with discussion and a rejoinder by the authors)》

介绍

电信保温杯笔记——《统计学习方法（第二版）——李航》
本文是对原书的精读，会有大量原书的截图，同时对书上不详尽的地方进行细致解读与改写。

提升（boosting）方法是一种常用的统计学习方法，应用广泛且有效。在分类问题中，它通过改变训练样本的权重,学习多个分类器，并将这些分类器进行线性组合，提高分类的性能。

下文首先介绍提升方法的思路和代表性的提升算法 AdaBoost；然后分析AdaBoost的误差；并且从另一个角度解释AdaBoost算法；最后叙述提升方法更具体的实例——提升树（boosting tree）。

提升方法的基本思路

为了方便理解下文，这里需要介绍一下对于线性分类器来说，数据集线性可分和线性不可分这2个概念。

定义2.2：

对于线性分类器来说，分类准确率接近90%应该算的上是接近线性可分的，准确率70+%的应该算的上是完全线性不可分的，笼统地理解为线性不可分就行。

概率近似正确（probably approximately correct，PAC）这个概念，在使用线性分类器分类任务中，应该说的是接近线性可分的，分类准确率接近90%，也可简单地理解为“强可学习”，而“弱可学习”可简单地理解为线性不可分，准确率70+%。

有了这些概念再去看原文：

提升方法的代表：AdaBoost

关于第1个问题，AdaBoost的做法是，提高那些被前一轮弱分类器错误分类样本的权值，而降低那些被正确分类样本的权值。这样一来，那些没有得到正确分类的数据，由于其权值的加大而受到后一轮的弱分类器的更大关注。于是，分类问题被一系列的弱分类器“分而治之”。至于第2个问题,即弱分类器的组合，AdaBoost采取加权多数表决的方法。具体地，加大分类误差率小的弱分类器的权值，使其在表决中起较大的作用，减小分类误差率大的弱分类器的权值，使其在表决中起较小的作用。

AdaBoost的巧妙之处就在于它将这些想法自然且有效地实现在一种算法里。

式子（8.2）有点像电信保温杯笔记——《统计学习方法（第二版）——李航》第6章 逻辑斯谛回归与最大熵模型的逻辑斯谛回归模型中的对数几率：

分类误差越小，系数 ${\alpha }_m$ 越大。

令 $Z_m,i=w_{mi}exp(-{\alpha }_m{y}_i{G}_m(x_i))$，则式子（8.4）和（8.5）变成
$$\begin{gathered} w_{m+1,i}=\frac{Z_{m,i}}{Z_m} \\ {Z}_m=\sum _{i=1}^N{Z}_{m,i} \end{gathered}$$
可以认为分子 $Z_{m,i}$ 是样本的新权重的得分分值，分母$Z_m$ 是归一化因子。

对于第 $m$ 个 分类器来说，第 $i$ 个样本分类正确，$y_i{G}_m(x_i)$ 为1，$0<exp(-{\alpha }_m{y}_i{G}_m(x_i))<1$，分值 $Z_{m,i}$ 下降，在训练集的第 $m+1$ 个分布上的权重 $w_{m+1,i}$ 减小；
如果分类错误，$y_i{G}_m(x_i)$ 为 $-1$，$exp(-{\alpha }_m{y}_i{G}_m(x_i))>1$，分值 $Z_{m,i}$ 上升，在训练集的第 $m+1$ 个分布上的权重 $w_{m+1,i}$ 增大。

步骤

例子

误差分析

$$\begin{array}{rl}\frac{1}{N}\sum _{i=1}^N\exp (-y_{i}f(x_i))& =\frac{1}{N}\sum _{i=1}^N\exp \left(-\sum _{m=1}^M{\alpha }_m{y}_i{G}_m(x_i)\right)\\ & =\sum _{i=1}^N\frac{1}{N}\exp \left(-\sum _{m=1}^M{\alpha }_m{y}_i{G}_m(x_i)\right)\\ & =\sum _{i=1}^N{w}_{1i}\exp \left(-\sum _{m=1}^M{\alpha }_m{y}_i{G}_m(x_i)\right)\\ & =\sum _{i=1}^N{w}_{1i}\prod _{m=1}^M\exp (-{\alpha }_m{y}_i{G}_m(x_i))\\ & =\sum _{i=1}^N{w}_{1i}\exp (-{\alpha }_1{y}_i{G}_1(x_i))\prod _{m=2}^M\exp (-{\alpha }_m{y}_i{G}_m(x_i))\\ & =\sum _{i=1}^N{Z}_1{w}_{2i}\prod _{m=2}^M\exp (-{\alpha }_m{y}_i{G}_m(x_i))\\ & =Z_1\sum _{i=1}^N{w}_{2i}\prod _{m=2}^M\exp (-{\alpha }_m{y}_i{G}_m(x_i))\\ & =Z_1{Z}_2\sum _{i=1}^N{w}_{3i}\prod _{m=3}^M\exp (-{\alpha }_m{y}_i{G}_m(x_i))\\ & =\cdots \\ & =Z_1{Z}_2\cdots Z_{M-1}\sum _{i=1}^N{w}_{Mi}\exp (-{\alpha }_M{y}_i{G}_M(x_i))\\ & =\prod _{m=1}^M{Z}_m\end{array}$$

$$\begin{array}{rl}{Z}_m& =\sum _{i=1}^N{w}_{mi}\exp (-{\alpha }_m{y}_i{G}_m(x_i))\\ & =\sum _{y_i=G_m(x_i)}{w}_{mi}{e}^{-{\alpha }_m}+\sum _{y_i\ne G_m(x_i)}{w}_{mi}{e}^{{\alpha }_m}\\ & =e^{-{\alpha }_m}\sum _{y_i=G_m(x_i)}{w}_{mi}+e^{{\alpha }_m}\sum _{y_i\ne G_m(x_i)}{w}_{mi}\\ & =e^{-{\alpha }_m}(1-e_m)+e^{{\alpha }_m}{e}_m\\ & \ge 2\sqrt{(1-e_m)e_m}(8.11)\end{array}$$
当且仅当 $e^{-{\alpha }_m}(1-e_m)=e^{{\alpha }_m}{e}_m$ 时，
$e^{-{\alpha }_m}(1-e_m)+e^{{\alpha }_m}{e}_m=2\sqrt{(1-e_m)e_m}$ 成立。

根据公式（8.2）
$$\begin{array}{rl}{\alpha }_m& =\frac{1}{2}\log \frac{1-e_m}{e_m}\\ 2{\alpha }_m& =\log \frac{1-e_m}{e_m}\\ e^{2{\alpha }_m}& =\frac{1-e_m}{e_m}\\ e^{{\alpha }_m}{e}_m& =e^{-{\alpha }_m}(1-e_m)\end{array}$$
因此
$$\begin{array}{rl}{Z}_m& =2\sqrt{(1-e_m)e_m}\\ & =\sqrt{1-4{\gamma }_m^2}(8.11)\end{array}$$

AdaBoost的另一个解释

这一部分不看也没关系。

前向分步算法

前向分步算法与AdaBoost的关系

$$\begin{array}{rl}\sum _{i=1}^N{\bar{w}}_{mi}\exp [-y_i\alpha G(x_i)]& =\sum _{y_i=G_m(x_i)}^N{\bar{w}}_{mi}{e}^{-\alpha }+\sum _{y_i\ne G_m(x_i)}^N{\bar{w}}_{mi}{e}^{\alpha }\\ & =\sum _{y_i=G_m(x_i)}^N{\bar{w}}_{mi}{e}^{-\alpha }+(\sum _{y_i\ne G_m(x_i)}^N{\bar{w}}_{mi}{e}^{-\alpha }-\sum _{y_i\ne G_m(x_i)}^N{\bar{w}}_{mi}{e}^{-\alpha })+\sum _{y_i\ne G_m(x_i)}^N{\bar{w}}_{mi}{e}^{\alpha }\\ & =(\sum _{y_i=G_m(x_i)}^N{\bar{w}}_{mi}{e}^{-\alpha }+\sum _{y_i\ne G_m(x_i)}^N{\bar{w}}_{mi}{e}^{-\alpha })-\sum _{y_i\ne G_m(x_i)}^N{\bar{w}}_{mi}{e}^{-\alpha }+\sum _{y_i\ne G_m(x_i)}^N{\bar{w}}_{mi}{e}^{\alpha }\\ & =\sum _{i=1}^N{\bar{w}}_{mi}{e}^{-\alpha }+\sum _{y_i\ne G_m(x_i)}^N{\bar{w}}_{mi}(e^{\alpha }-e^{-\alpha })\\ & =\sum _{i=1}^N{\bar{w}}_{mi}{e}^{-\alpha }+\sum _{i=1}^N{\bar{w}}_{mi}(e^{\alpha }-e^{-\alpha })I(y_i\ne G(x_i))(8.22)\end{array}$$

$$\begin{array}{rl}\frac{\partial \left(\sum _{i=1}^N{\bar{w}}_{mi}\exp [-y_i\alpha G(x_i)]\right)}{\partial \alpha }& =\frac{\partial \left(\sum _{i=1}^N{\bar{w}}_{mi}{e}^{-\alpha }+\sum _{i=1}^N{\bar{w}}_{mi}(e^{\alpha }-e^{-\alpha })I(y_i\ne G(x_i))\right)}{\partial \alpha }\\ & =\alpha e^{-\alpha }\left(-\sum _{i=1}^N{\bar{w}}_{mi}+(e^{2\alpha }+1)\sum _{i=1}^N{\bar{w}}_{mi}I(y_i\ne G(x_i))\right)\\ & =0\end{array}$$
于是
$$\begin{array}{rl}& -\sum _{i=1}^N{\bar{w}}_{mi}+(e^{2\alpha }+1)\sum _{i=1}^N{\bar{w}}_{mi}I(y_i\ne G(x_i))=0\\ & e^{2\alpha }\sum _{i=1}^N{\bar{w}}_{mi}I(y_i\ne G(x_i))=\sum _{i=1}^N{\bar{w}}_{mi}-\sum _{i=1}^N{\bar{w}}_{mi}I(y_i\ne G(x_i))\\ & e^{2\alpha }=\frac{\sum _{i=1}^N{\bar{w}}_{mi}-\sum _{i=1}^N{\bar{w}}_{mi}I(y_i\ne G(x_i))}{\sum _{i=1}^N{\bar{w}}_{mi}I(y_i\ne G(x_i))}\\ & \alpha =\frac{1}{2}\log \frac{\sum _{i=1}^N{\bar{w}}_{mi}-\sum _{i=1}^N{\bar{w}}_{mi}I(y_i\ne G(x_i))}{\sum _{i=1}^N{\bar{w}}_{mi}I(y_i\ne G(x_i))}\\ & \alpha =\frac{1}{2}\log \frac{1-e_m}{e_m}\end{array}$$

提升方法的实例：提升树（boosting tree）

提升树是以分类树或回归树为基本分类器的提升方法。提升树被认为是统计学习中性能最好的方法之一。

提升树模型

提升树算法

每一棵树都拟合前一棵树的残差，即对前一棵树预测的误差进行修补。下图每多一棵树，预测值就越来越接近真实值：

实线表示 $f_i(x_i)$ 的预测值，虚线表示 $f_i(x_i)$ 相较于 $f_{i-1}(x_i)$ 变换的部分。

直接看例题比较好。

步骤

例子

提升树的优化

步骤

本章概要

相关视频

相关的笔记

hktxt /Learn-Statistical-Learning-Method

相关代码

Dod-o /Statistical-Learning-Method_Code，m 是样本数，n 是特征数。

关于def calc_e_Gx(trainDataArr, trainLabelArr, n, div, rule, D):
Gx列表保存对当前所有样本的预测结果。

关于def createSigleBoostingTree(trainDataArr, trainLabelArr, D):
因为代码对样本特征取值进行过简化，特征取值只有0和1，所以

这一步s只有[-0.5, 0.5, 1.5]这几种选择。
同时对上式 $R_1,R_2$ 所预测的类别也进行了探索，用 rule 变量表示。
对每一个特征进行遍历，寻找用于划分的最合适的特征，最终预测误差、最优划分点、划分规则、预测结果、最合适的特征的索引会保存在字典sigleBoostTree中。

pytorch

tensorflow

keras

pytorch API:

tensorflow API