Outline
- 弱学习算法「提升」为强学习算法的理论依据
- Adaboost 算法
- Adaboost 算法的例子
- Adaboost 算法的例子的实现步骤
- 思考
1. 弱学习算法「提升」为强学习算法的理论依据:
因此新问题是「如果存在弱学习算法,那么能否把它们提升为强学习算法?」
提升方法boosting:常用的统计学习方法。在分类问题中通过改变训练样本的权重,学习多个分类器,并将这些分类器线性组合,提高分类器的性能。
比较具有代表性的是 AdaBoost 算法,对于提升方法有两个关键问题:
Q1:「在分类问题中通过改变训练样本的权重」,如何改变训练样本的权重?
对于AdaBoost 算法:提高被前一轮弱分类器错分的样本的权重,降低被正确分类的样本的权重(重点学习分错的样本)
Q2: 如何组合弱学习器
对于AdaBoost 算法:加权多数表决(错误率低的基学习器权重大,谁的权重大谁比较重要)
2. Adaboost 算法
李航《统计学习方法》 P138
初始权重D1假设训练样本是均匀分布的。如果 N = 10,则D1 = (0.1,0.1,0.1,0.1,0.1,0.1,0.1,0.1,0.1,0.1)
训练样本的权值之和
数据权值分布
和基分类器
的分类误差率的关系:当前第 m 次的 权值分布Dm下的
误分样本的权值之和
基分类器
的系数和它的分类误差率之间的关系:
越大,
越小
更新训练数据集的权值分布
:
权值分布
的更新和前一轮的权值
、新基分类器
及其系数
有关。
,
当样本
的分类结果