提升方法
强可学习和弱可学习:
因为在现实生活中,弱分类器是很好找的。所以考虑将多个弱分类器进行提升得到一个强分类器
提升方法即将弱可学习法提升为强可学习法
有两个问题需要回答:
1:如何改变训练数据的权值或概率
方法:提高分类错的权值而减少分类正确的权值
2:如何将弱分类器合成一个强分类器
方法:加大分类误差率小的模型而减少分类误差率大的模型
AdaBoost
Adaboost算法分为三大步:
第一步:初始化权值
第二步:进行一次更新并更新权值
第三步:对不用模型加权求和后得到最终模型
那我们分别看是如何解决弱到强的两个问题的
第一个问题:在第二步的(d)中,我们可以将上式简化为
可以看到当分类正确时&