提升方法是统计学习中的重要技术，通过调整训练样本权重来构建多个弱分类器，形成强分类器。Adaboost算法是其典型代表，它以加权多数表决的方式组合弱分类器，重视分类误差小的分类器。在训练过程中，Adaboost不断更新样本权重，误分类样本权重增大，确保困难样本得到更多关注。前向分布算法则简化了加法模型的优化过程，而提升树进一步将提升方法应用于决策树上。
一、提升方法基本思路
提升方法是一种常用的统计学习方法，应用广泛且有效。在分类问题中，它通过改变训练样本的权重，学习多个分类器，并将这些分类器进行线性组合，提高分类的性能。提升方法需要回答两个问题
- 一是在每一轮如何改变训练数据的权值或概率分布
- 二是如何将弱分类器组合成一个强分类器。
关于第一个问题，AdaBoost的做法是，提高那些被前几轮弱分类器线性组成的分类器错误分类的的样本的权值。这样一来，那些没有得到正确分类的数据，由于权值加大而受到后一轮的弱分类器的更大关注。于是，分类问题被一系列的弱分类器”分而治之”。
关于第二个问题，AdaBoost采取加权多数表决的方法。具体地，加大分类误差率小的弱分类器的权值，使其在表决中起较大的作用，减小分类误差率大的弱分类器的权值，使其在表决中起较小的作用。
二、Adaboost算法
最低0.47元/天 解锁文章
扫一扫
4147
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
