参考文献:learning from data——Yaser S. Abu-Monstafa/ Malik Magdon-Ismail / Hsuan-Tien Lin
题外话:哈哈哈,太开心~没想到我这么快就能填坑了,勤劳的不像我,可能是因为喜欢的男生分享相关资料,羞羞。
在看下面的内容前需要知道的内容:
经验损失、期望损失、假设空间、监督学习中 的假设,这些概念可参见: 统计学习三要素。
统计学习的目标
在统计学习中,我们可以用两个式子来描述学习的目标。对于我们所学习的模型 ,希望存在一个很小的正数 ,满足下面式子:
其中, 是我们学习的模型, 是模型的期望损失, 是模型的经验损失。
这两个式子所表示的意思:
1.第一个式子反映了平均意义下,我们所训练的模型预测的好坏,趋于0就代表模型预测的效果越好。2.就像博客: 统计学习三要素所说, 不可计算,所以我们希望 尽可能的接近 。3.如果 和 接近,并且 很小,那么我们所学习的模型 就与真实的 很接近。
这篇文章主要是从第二个式子来讨论问题,就是主要分析模型的泛化能力,推导模型的复杂程度和泛化能力之间的关系(也就是表征系统复杂度的vc维和泛化误差之间的关系)。
Hoeffding不等式
对于上面的第二个式子,只是这样定性的描述我们的目标,其实并没有什么卵用,于是,有人想到了Hoeffding不等式:
若:
那么:
其中:
有了Hoeffding不等式,上面的第二个式子就可以写为:
其中<