【机器学习】Adaboost多类分类——SAMME算法，SAMME.R算法

前言

根据Adaboost算法更新权重的原理我们知道想要在下一轮训练中使误分类的样本的权重增加，每一轮训练的错误率都必须小于0.5，包括初始化分类器时也是如此。初始化一般都是随机初始化，对于二分类任务，每个样本都有0.5的概率被预测正确，要达到0.5以上的正确率还是比较容易的，但是对于多分类问题就不一样了，在多分类问题中如果有$K$个不同的类别，那么随机猜测只有 $1/K$ 的概率预测正确，因此若直接将Adaboost算法应用于多类分类问题往往不能得到令人满意的结果。针对这个问题，Zhu Ji等人在2009年提出了SAMME及SAMME.R算法，这也是sklearn中用Adaboost做多类分类问题时采用的算法。

算法原理

首先我们约定以下符号用法：

• $x,y$ 表示一个标量
• $\mathbf{x},\mathbf{y}$ 表示一个矢量
• $N$ 表示样本数量
• $K$ 表示不同的类别的数量

SAMME算法

1. 标签和输出的向量化

在传统的 Adaboost 算法中样本的标签是数值，表示它所属的类别，模型的输出同样也是数值；而在这个算法中两者都被推广为 $1\times K$ 维的向量，即任意一个样本可表示为 $({\text{x}}_i,{\text{y}}_i)$，其中${\text{x}}_i$ 是样本的特征向量，${\text{y}}_i$ 是样本的标签向量，${\text{y}}_i=(y_{i1},y_{i2},...,y_{iK})$，其分量定义如下：

$y_{ik}=\{\begin{array}{ll}1,& 如果x_i属于第k类\\ -\frac{1}{K-1},& 如果x_i不属于第k类\end{array}$

例如，假设训练集第一个样本 $({\text{x}}_1,{\text{y}}_1)$ 属于第一类，那么 ${\text{y}}_1=(1,-\frac{1}{K-1},-\frac{1}{K-1},...,-\frac{1}{K-1})$

在这个算法中分类器依然采用加法模型，我们将训练好的分类器记为 ${\text{f}}_m(\text{x})$，那么它可以写成如下形式：

$${\text{f}}_m(\text{x})=\sum _i^m{\beta }_i{\text{g}}_i(\text{x})$$

其中 ${\text{g}}_i(\text{x})$ 是基分类器（弱分类器）；它的输出也是向量：

$${\text{f}}_m(\text{x})=(f_{m1}(\text{x}),f_{m2}(\text{x}),...,f_{mK}(\text{x}))$$

为了保证求解得到的 ${\text{f}}_m(\text{x})$ 唯一，作者给它加上了一个对称约束条件：

$$f_{m1}(\text{x})+f_{m2}(\text{x})+...+f_{mK}(\text{x})=0$$

即限制 ${\text{f}}_m(\text{x})$ 各分量之和为0；这里的思想和电磁学中为了使给定边界条件下求得的电磁场唯一而引入规范的概念是一样的。由于 ${\text{f}}_m(\text{x})$ 可表示为 $m$ 个基分类器之和， 而 ${\text{f}}_m(\text{x})$ 的输出是向量，那么 $\text{g}(\text{x})$ 的输出也应该是向量：

$$\text{g}(\text{x})=(g_1(\text{x}),g_2(\text{x}),...,g_K(\text{x}))$$

并且我们可以强制 $\text{g}(\text{x})$ 也满足对称约束条件，此时我们注意到如果 $\text{g}(\text{x})$ 满足对称约束条件，那么由加法模型 ${\text{f}}_m(\text{x})$ 自然也满足对称约束条件，于是对 ${\text{f}}_m(\text{x})$ 的约束可以转为对 $\text{g}(\text{x})$ 的约束。进一步我们注意到 $\text{g}(\text{x})$ 作为一个分类器，可以看成一个函数，该函数的定义域为样本的特征空间，值域为标签构成的集合，即：

$$\text{g}(\text{x}):R^{|feature|}\to Y$$

Y = { ( 1 , − 1 K − 1 , − 1 K − 1 , . . . , − 1 K − 1 ) , ( − 1 K − 1 , 1 , − 1 K − 1 , . . . , − 1 K − 1 ) , . . . , ( − 1 K − 1 , − 1 K − 1 , − 1 K − 1 , . . . , 1 ) } Y=\{(1, -\frac{1}{K-1}, -\frac{1}{K-1}, ..., -\frac{1}{K-1}), (-\frac{1}{K-1}, 1, -\frac{1}{K-1}, ..., -\frac{1}{K-1}), ..., (-\frac{1}{K-1}, -\frac{1}{K-1}, -\frac{1}{K-1}, ..., 1)\} Y={ (1,−K−11​,−K−11​,...,−K−11​),(−K−11​,1,−K−11​,...,−K−11​),...,(−K−11​,−K−11​,−K−11​,...,1)}

其中 $|feature|$ 表示特征数量，$(1,-\frac{1}{K-1},-\frac{1}{K-1},...,-\frac{1}{K-1})$ 为第一类的类标签，$(-\frac{1}{K-1},1,-\frac{1}{K-1},...,-\frac{1}{K-1})$ 为第二类的标签，……，$(-\frac{1}{K-1},-\frac{1}{K-1},-\frac{1}{K-1},...,1)$ 为第 $K$ 类的标签；考虑到这一点后，根据一开始对标签向量的定义，我们发现它刚好是满足对称约束条件的，即各分量相加为0，因此在这个定义下对称约束自动被满足了

2. 求解模型

该算法的损失函数依然沿用了传统 Adaboost 的指数损失函数，只要我们把标量换成向量就行了：

$$L(\text{y},\text{f}(\text{x}))=\sum _{i}exp(-\frac{1}{K}{\text{y}}_i\cdot {\text{f}}_m({\text{x}}_i))$$

其中为了后面计算方便，作者引入了一个常数 $\frac{1}{K}$ 。和 Adaboost 算法的推导一样，我们只关注当前轮的训练，因此将 ${\text{f}}_m(\text{x})$ 拆成 ${\text{f}}_{m-1}(\text{x})+{\beta }_m{\text{g}}_m(\text{x})$ ，并将上一轮训练结果 ${\text{f}}_{m-1}(\text{x})$ 吸收进样本权重项 $\omega$ ：

$$\begin{array}{rl}L(\text{y},\text{f}(\text{x}))& =\sum _{i}exp(-\frac{1}{K}{\text{y}}_i\cdot {\text{f}}_m({\text{x}}_i))\\ & =\sum _{i}exp(-\frac{1}{K}{\text{y}}_i\cdot ({\text{f}}_{m-1}({\text{x}}_i)+{\beta }_m{\text{g}}_m({\text{x}}_i)))\\ & =\sum _i{\omega }_{i}exp(-\frac{{\beta }_m}{K}{\text{y}}_i\cdot {\text{g}}_m({\text{x}}_i))\end{array}$$

下面我们单独考察一下 ${\text{y}}_i\cdot {\text{g}}_m({\text{x}}_i)$ 的结果；如前所述，${\text{y}}_i$ 和 ${\text{g}}_m({\text{x}}_i)$ 都是 $1\times K$ 维的向量，当它表示第 $j$ 类时则第 $j$ 个分量为1 ，其余分量为 $-\frac{1}{K-1}$ ，因此当分类器预测正确时， ${\text{g}}_m({\text{x}}_i)={\text{y}}_i$ ，${\text{y}}_i\cdot {\text{g}}_m({\text{x}}_i)$ 的结果就是 ${\text{y}}_i$ 的模的平方；如果分类器预测错误，可以预见 ${\text{y}}_i$ 和 ${\text{g}}_m({\text{x}}_i)$ 的1不在同一个分量，而其他分量还是相等的，都是 $-\frac{1}{K-1}$ ；经过简单的计算可得两种情况下的内积结果：

$$预测正确时：{\text{y}}_i\cdot {\text{g}}_m({\text{x}}_i)$$