机器学习（七）：提升（boosting）方法

更多内容关注公众号：数学的旋律

tb店铺搜：FUN STORE玩物社，专业买手挑选送礼好物

引言

    提升（boosting）方法是一族可将弱学习器提升为强学习器的算法。这族算法的工作机制类似：先从初始训练集训练出一个基学习器，再根据基学习器的表现对训练样本分布进行调整，使得先前基学习器做错的训练样本在后续受到更多关注，然后基于调整后的样本分布来训练下一个基学习器；如此重复进行，直至基学习器数目达到事先指定的值T，最终将这T个基学习器进行加权结合。
    本文主要介绍提升方法中代表性的算法AdaBoost和提升方法中更具体地实例提升树（boosting tree）。AdaBoost算法是1995年由Freund和Schapire提出的，提升树是2000年由Friedman等人提出的。

一、AdaBoost算法

    AdaBoost是adaptive boosting（自适应boosting）的缩写。
    对于分类问题而言，给定一个训练样本集，求比较粗糙的分类规则（弱分类器）要比求精确的分类规则（强分类器）容易得多。提升方法就是从弱学习算法出发，反复学习，得到一系列弱分类器（又称为基本分类器），然后组合这些弱分类器，构成一个强分类器。大多数的提升方法都是改变训练数据的概率分布（训练数据的权值分布），针对不同的训练数据分布调用弱学习算法学习一系列弱分类器。
    这样，对提升方法来说，有个两个问题需要回答：一是在每一轮如何改变训练数据的权值或概率分布；二是如何将弱分类器组合成一个强分类器。
    关于第一个问题，AdaBoost的做法是，提高那些被前一轮弱分类器错误分类样本的权值，而降低那些被正确分类样本的权值。至于第二个问题，即弱分类器的组合，AdaBoost采取加权多数表决的方法，具体地，加大分类错误率小的弱分类器的权值，使其在表决中起较大的作用，减小分类错误率大的弱分类器的权值，使其在表决中起较小的作用。

1.算法

    假设给定一个二类分类的训练数据集$$D=\{(x_1,y_1),(x_2,y_2),\cdots ,(x_i,y_i),\cdots ,(x_N,y_N)\}$$其中，每个样本点由实例与标记组成。实例$x_i\in X\subseteq R^n$，标记$y_i\in Y=-1,+1$，$X$是实例空间，$Y$是标记集合。AdaBoost利用以下算法，从训练数据中学习一系列弱分类器或基本分类器，并将这些弱分类器组合成为一个强分类器。
算法1（AdaBoost）
输入：训练数据集$D=\{(x_1,y_1),(x_2,y_2),\cdots ,(x_i,y_i),\cdots ,(x_N,y_N)\}$，其中$x_i\in X\subseteq R^n$，$y_i\in Y=-1,+1$；弱分类器算法
输出：最终分类器G(x)
①初始化训练数据的权值分布$$D_1=(w_{11},\cdots ,w_{1i},\cdots ,w_{1N}),w_{1i}=\frac{1}{N},i=1,2,\cdots ,N$$②对$m=1,2,\cdots ,M$
(a) 使用具有权值分布$D_m$的训练数据集学习，得到基本分类器 G m ( x ) : X → { − 1 , + 1 } G_m(x):X\rightarrow\{-1,+1\} Gm​(x):X→{ −1,+1}(b) 计算$G_m(x)$在训练数据集上的分类误差率KaTeX parse error: Unknown accent ' ̸' at position 16: e_m=P(G_m(x_i)≠̲̲y_i)=\sum_{G_m(…© 计算$G_m(x)$的系数$${\alpha }_m=\frac{1}{2}log\frac{1-e_m}{e_m}(1)$$这里的对数是自然对数
(d) 更新训练数据集的权值分布$$D_{m+1}=(w_{m+1,1},\cdots ,w_{m+1,i},\cdots ,w_{m+1,N})$$$$w_{m+1,i}=\frac{w_{mi}}{Z_m}\exp (-{\alpha }_m{y}_i{G}_m(x_i$$