adaboost.M1与adaboost.M2差别比较

三种算法的差别

adaboost是由Yoav Freund和Robert E. Schapire 首先提出来的一种用于二分类问题的集成方法,紧接着出现的adaboost.M1将二分类扩展到多分类问题,而adaboost.M2不仅可以处理多分类问题,还引入了置信度的概念,进一步扩展了adaboost算法。

adaboost的简单介绍

这里写图片描述

H(x)=sign(t=1Tαtht(x))
可知
adaboost采用的集成方式是对基分类器的结果进行加权求和,如果结果大于0则样本被分为正类,如果结果小于0则样本被分为负类。
adaboost算法要做的就是每次迭代过程中,赋予被错误分类的样本更大的权重,从上图的步骤10可以看出:
Dt+1(i)={Dt(i)eαtDt(i)eαtif ht(xi)=yi,if not.(1)

如果一个样本被上一个分类器正确分类,那么它的权重将乘以eαt(eαt(0,1)),
如果这个样本被上一个分类器错误分类,那么它的权重将乘以eαt(eαt>1)
也就是说错误分类的样本权值相对于正确分类的样本权值扩大了e2αt倍,而e2αt=1ϵtϵt

adaboost.M1

这里写图片描述
与前面提到的原版adaboost不同,adaboost.M1适用于多分类问题,为此,adaboost.M1对算法进行了一些必要的修改。不同之处在于:

H(x)的形式发生了一些变化,没有使用符号函数sign(),但作用并没有发生实质的变化,任然可以看成是及基分类器对输出结果进行投票,而且基分类器的权重实质上也没有变化,依然是ln(1ϵtϵt)

对比第十步可以发现,adaboost.M1对权值更新函数做了一些调整以适应多分类的问题。权值更新规律如下:
如果一个样本被上一个分类器错误分类,那么它的权重不变,
如果这个样本被上一个分类器正确分类,那么它的权重将乘以βt=ϵt1ϵt
也就是说错误分类的样本权值相对于正确分类的样本权值扩大了1ϵtϵt倍,这与adaboost的权值更新法。

adaboost.M2

这里写图片描述

在adaboost.M2中算法对基分类器的输出形式做出了限制,给定一个样本,基分类器对c1cm的类都输出一个介于0和1之间的值,表示这个样本属于某个类的概率,且这些值相加等于1。
wti,y表示第t次迭代中样本i的某个错误标签y的权重

Wti表示在第t次迭代中样本i的的错误标签的权重和

qt(i,y)表示wti,yWti中占的比重

Dt(i)表示第i个样本在所有样本中占的权重

adaboost.M2的思路还是提高难以被正确分类的样本的权重,
假如样本可被分为A,B, C三类,某个样本xi的真实标签为A,上一个基分类器对xi的分类结果如下:

类别 A B C
概率 0.1 0.4 0.5

显然当前基分类器对这个样本的分类不理想,那么adaboost.M2算法会根据步骤8来计算计算当前基分类器的误差,接着步骤10会修改错误类B,C的权重,进而在下一次迭代的步骤6中更新这个样本的权重。

发布了14 篇原创文章 · 获赞 18 · 访问量 5万+
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 大白 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览