统计学习方法笔记(八):提升方法
- 在分类问题中,通过改变训练样本的权重,学习多个分类器,并将这些分类器进行线性组合,提高分类的性能
提升方法AdaBoost算法
如何改变训练数据的权值或概率分布
- AdaBoost的做法是,提高那些被前一轮弱分类器错误分类样本的权值,而降低那些被正确分类样本的权值。这样的话,那些没有得到正确分类的数据,由于其权值的加大而受到后一轮的弱分类器的更大关注。于是,分类问题被一系列的弱分类器“分而治之”
如何将弱分类器组合成一个强分类器
- 对于弱分类器的组合,AdaBoost采取加权多数表决的方法。具体为,加大分类误差率小的弱分类器的权值,使其在表决中起较大的作用;减小分类误差率大的弱分类器的权值,使其在表决中其较小作用。
AdaBoost算法
AdaBoost算法的理解
提升树
- 提升树是以分类树或回归树为基本分类器的提升方法。提升树被认为是统计学习中性能最好的方法之一