如何利用AdaBoost提高分类性能

最新推荐文章于 2024-06-11 18:28:23 发布

shuaishuai3409

最新推荐文章于 2024-06-11 18:28:23 发布

阅读量4.6k

点赞数

分类专栏：机器学习/云计算

本文链接：https://blog.csdn.net/shuaishuai3409/article/details/50975532

版权

30 篇文章 4 订阅

订阅专栏

AdaBoost属于元算法，不同于传统的单分类器（决策树、朴素贝叶斯、SVM等），它是多个分类器的组合，共同决定预测结果。而且适用数值型和标称型（类别）数据。工作流程如下：

工作流程就是这样，但是还要注意几点：

在分类器第二次训练中，会重新调整每个样本的权重，其中第一次分对的样本的权重会降低，而第一次分错的样本的权重会提高（目的是下次重点关注错误样本，尽量使其分对）
传统单分类器都可以作为弱分类器，AdaBoost选取单层决策树作为弱分类器。单层决策树就是仅针对一个特征来做决策，算上根节点只有两层，类标签有几个就有几个分支。以收入作为特征，类标签为研究生和本科生，分支就为两个，决策判断就是收入大于是否10K，最终构建如图：
为了从所有弱分类器中得到最终的分类结果，AdaBoost给每个分类器都分配了一个权重值 $\alpha$ ，即带不同权重的分类器共同决定分类结果。

简言之，对于AdaBoost要记住两点：

然后我们从算法角度说明AdaBoost包含4个核心部分。

构建单层决策树。单层决策树的目的是从若干特征中选出错误率最小的那个特征（对结果影响最大），并返回预测结果和错误率。其实特别简单：对于样本一（1，2，1.3，1，2），我构建的决策树就是找个阈值，大于该阈值将样本一中的元素划分到类别1，小于（等）该阈值将样本一中的元素划分到类别-1，这就是一颗决策树。然后我么要注意的是阈值要动态调整，最好有固定步长，来使得预测分类的错误率最小（目标）。

讲到这，弱分类基本上就算是建好了，但是我们还有一个细节没有说，那就是错误率的计算需要算上样本的向量权重D，也就是说由于每个样本元素的权重不同，最终的错误率应该是加权错误率。以样本一为例（D=[0.2，0.2，0.2，0.2，0.2]），阈值为1.3时，其预测分类结果为（-1，1，-1,-1，1），而正确分类结果为（1，1，-1,-1，1）。大家可以看到第一数据被分错了，这样加权错误率为0.2*1=0.2。同理，若样本权重向量D=(0.1,0.3,0.2,0.3,0.1),预测分类结果为（1，-1，1,-1，1），加权错误率为0.3×1+0.2×1=0.5

训练过程解释说明：

单层决策树会根据D返回加权错误率以及预测的分类结果，该分类结果就是分类器。
通过错误率 $\varepsilon$ 可以计算出分类器的权重 $\alpha$ :
$\alpha=\frac{1}{2}ln(\frac{1-\epsilon}{\epsilon})$
$\alpha$ 结合单层决策树预测的分类结果（分类器），共同产生新的预测结果，与正确类标签进行比对得出新的错误率（此时的错误率是加权分类器产生的预测结果与正确类标签比对的，比对时不加权值），判断是否为0决策是否继续迭代。
若不为0，触发分类器权重 $\alpha$ 得出新的权重向量D：
$D_i^{(t+1)}=\frac{D_i^{t}e^{\alpha}}{Sum(D)}$ 错误分类
$D_i^{(t+1)}=\frac{D_i^{t}e^{-\alpha}}{Sum(D)}$ 正确分类
由新的权重向量D进行新一轮的迭代，得到新的错误率等。AdaBoost的最终返回值是对应不同权重 $\alpha$ 的分类器集合，也就是说只要不断迭代，就会有新的 $\alpha$ 和分类器，可以保存到一个字典中。