书上列出了这个式子,但是没有给出详细的证明
根据书上的提示,找到Hoeffding的定义
对于二项分布,有如下定义:
假设为抛硬币的情况,每次正面朝上的概率设为p,抛n次硬币,正面朝上次数不超过k次的概率为:
对于ε > 0,当k = (p − ε)n时,以下不等式成立(Hoeffding不等式)
回到8.3式中
等价于T个基分类器中,最多有T/2个分类器分类正确。这样整体分类就错误了
8.3式等价于
我们对上式应用Hoeffding不等式,有:
注意上式子中的p,epsilon和n和书上的符号表达不一样,所以按书上符号做下替换,
有
同理,右侧式子也替换符号,这里就不码了。其中
是未知数,求解左边等式,将值代入Hoeffding不等式右式即可得到8.3式的不等式
机器学习(西瓜书)8.3式证明
最新推荐文章于 2024-08-16 08:18:01 发布