深入学习理论：VC维（VC dimensions）

统计学习的目标

在统计学习中，我们可以用两个式子来描述学习的目标。对于我们所学习的模型，希望存在一个很小的正数，满足下面式子：

其中，是我们学习的模型，是模型的期望损失，是模型的经验损失。

这两个式子所表示的意思：

1.第一个式子反映了平均意义下，我们所训练的模型预测的好坏，趋于0就代表模型预测的效果越好。

2.就像博客：统计学习三要素所说，不可计算，所以我们希望尽可能的接近。

3.如果和接近，并且很小，那么我们所学习的模型就与真实的很接近。

这篇文章主要是从第二个式子来讨论问题，就是主要分析模型的泛化能力，推导模型的复杂程度和泛化能力之间的关系（也就是表征系统复杂度的vc维和泛化误差之间的关系）。

Hoeffding不等式

对于上面的第二个式子，只是这样定性的描述我们的目标，其实并没有什么卵用，于是，有人想到了Hoeffding不等式：

若：

1.若服从参数为的伯努利分布的随机变量。

2.是从母体中取的子样。

那么：

其中：

有了Hoeffding不等式，上面的第二个式子就可以写为：

其中为计算