二、AdaBoost算法的训练误差分析
通过前一节例子的学习,我们知道,AdaBoost最基本的性质是它能在学习过程中不断减少训练误差,即不断减少在训练数据集上的分类误差率。接下来一起来看两个定理:
定理一(AdaBoost的训练误差界):
AdaBoost算法最终分类器的训练误差界为:
(0式)
(上面的公式乍一看不是很明白~一定要看推导,我会很详细地给出推导。现在先口头理解一下:上式左边一个不等式,右边一个等式;不等式的左边仔细一看,就是当前最终分类器
我们把上式中涉及到的几个函数列出来:
(1式)
(2式)
(3式)
好了,为了方便接下来的推导,我们还要回顾上一篇涉及的几个公式:
(4式)
(5式)
(6式)
有了上面的5个式子,放心大胆地推导吧。
“0式”左边不等式的证明:当
接下来证明“0式”右边的等式:
即AdaBoost的训练误差界为
这一定理说明,可以在每一轮选取适当的分类器
接下来具体介绍一下二类分类问题的训练误差界,看一下是多少。
定理二(二类分类问题AdaBoost的训练误差界):
直接上公式:
其中,
要证明这个定理,我们再来引入几个式子:
(7式)
(8式)
并且我们知道当
这样就可以开始证明了。
证明:
所以定理左边的等式得证。至于不等式:
则可先由
上面这两个定理就介绍完了,接着在介绍一个推论,了解一下即可~
推论:如果存在
这表明在此条件下,AdaBoost的训练误差是以指数速率下降的。
注意:AdaBoost算法不需要知道下界
下一篇将介绍AdaBoost算法的另一种解释~