本文详细介绍了Adaboost分类算法中的SAMME算法，通过sklearn官方文档解析了算法原理，包括指数损失函数、样本权重更新及基分类器的选择。通过推导得出，每个基学习器的目标是使所有样本分类正确，从而最小化损失函数。最后，文章提到了Adaboost中样本权重的归一化处理，并提及了SAMME.R算法作为后续探讨的内容。
看了一下，adaboost之前也有不少人实现的思路，但是各有不同，为了方便起见，这里重点还是阐述一下sklearn中的adaboost的实现算法。
来自sklearn的官方文档的谷歌翻译。
首先来看下adaboost的分类：
两者的主要区别是弱学习器权重的度量，SAMME使用了和我们的原理篇里二元分类Adaboost算法的扩展，即用对样本集分类效果作为弱学习器权重，而SAMME.R使用了对样本集分类的预测概率大小来作为弱学习器权重。由于SAMME.R使用了概率度量的连续值，迭代一般比SAMME快，因此AdaBoostClassifier的默认算法algorithm的值也是SAMME.R。我们一般使用默认的SAMME.R就够了，但是要注意的是使用了SAMME.R， 则弱分类学习器参数base_estimator必须限制使用支持概率预测的分类器。SAMME算法则没有这个限制。
其实也挺好理解的，samme就是基学习器直接输出分类的标签，而samme.R则是输出分类的概率值，具体的区别下面写，首先是SAMME:
机器学习笔记：AdaBoost 公式推导www.jianshu.com
这一篇算是讲解和推导的比较完整的了，借鉴一下：
首先adaboost的整体的公式表示：
每一轮训练一个新的分类器
adaboost使用的是指数损失函数：
最低0.47元/天 解锁文章
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
