VC维（VC dimension）

参考文献：learning from data——Yaser S. Abu-Monstafa/ Malik Magdon-Ismail / Hsuan-Tien Lin

题外话：哈哈哈，太开心~没想到我这么快就能填坑了，勤劳的不像我，可能是因为喜欢的男生分享相关资料，羞羞。

在看下面的内容前需要知道的内容：

经验损失、期望损失、假设空间、监督学习中 的假设，这些概念可参见： 统计学习三要素。

统计学习的目标

在统计学习中，我们可以用两个式子来描述学习的目标。对于我们所学习的模型 ，希望存在一个很小的正数 ，满足下面式子：

其中， 是我们学习的模型， 是模型的期望损失， 是模型的经验损失。

这两个式子所表示的意思：

1.第一个式子反映了平均意义下，我们所训练的模型预测的好坏，趋于0就代表模型预测的效果越好。

2.就像博客： 统计学习三要素所说， 不可计算，所以我们希望 尽可能的接近 。

3.如果 和 接近，并且 很小，那么我们所学习的模型 就与真实的 很接近。

这篇文章主要是从第二个式子来讨论问题，就是主要分析模型的泛化能力，推导模型的复杂程度和泛化能力之间的关系（也就是表征系统复杂度的vc维和泛化误差之间的关系）。

Hoeffding不等式

对于上面的第二个式子，只是这样定性的描述我们的目标，其实并没有什么卵用，于是，有人想到了Hoeffding不等式：

若：

1.若服从参数为的伯努利分布的随机变量。

2.是从母体中取的子样。

那么：

其中：

有了Hoeffding不等式，上面的第二个式子就可以写为：

其中<