VC维（VC dimension）

最新推荐文章于 2025-07-04 10:30:52 发布

Fiona_ll

最新推荐文章于 2025-07-04 10:30:52 发布

阅读量1.4w

点赞数 9

CC 4.0 BY-SA版权

分类专栏： vc维 Hoeffding 泛化 vc dimension 机器学习文章标签： vc维 vc dimension 机器学习泛化 Hoeffding

本文链接：https://blog.csdn.net/lucylove3943/article/details/47280991

这篇博客探讨了统计学习的目标与Hoeffding不等式在机器学习中的应用，重点在于理解VC维（VC Dimension）的概念。通过分析训练集大小、模型复杂度与有效模型数量之间的关系，阐述了VC维如何作为衡量模型复杂度和泛化能力的指标。文章指出，VC维的增长速度与假设空间的大小相关，并提供了进一步了解VC维的资源。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

参考文献：learning from data——Yaser S. Abu-Monstafa/ Malik Magdon-Ismail / Hsuan-Tien Lin

题外话：哈哈哈，太开心~没想到我这么快就能填坑了，勤劳的不像我吐舌头，可能是因为喜欢的男生分享相关资料，羞羞。

在看下面的内容前需要知道的内容：

经验损失、期望损失、假设空间、监督学习中 $P(X,Y)$ 的假设，这些概念可参见：统计学习三要素。

统计学习的目标

在统计学习中，我们可以用两个式子来描述学习的目标。对于我们所学习的模型 $\hat{f}$ ，希望存在一个很小的正数 $\varepsilon$ ，满足下面式子：

$R_{exp}(\hat{f})\rightarrow 0$

$P(|R_{exp}(\hat{f})-R_{emp}(\hat{f})|<\varepsilon)\rightarrow 1$

其中， $\hat{f}$ 是我们学习的模型， $R_{exp}(\hat{f})$ 是模型的期望损失， $R_{emp}(\hat{f})$ 是模型的经验损失。

这两个式子所表示的意思：

1.第一个式子反映了平均意义下，我们所训练的模型预测的好坏，趋于0就代表模型预测的效果越好。

2.就像博客：统计学习三要素所说， $R_{exp}(\hat{f})$ 不可计算，所以我们希望 $R_{emp}(\hat{f})$ 尽可能的接近 $R_{exp}(\hat{f})$ 。

3.如果 $R_{emp}(\hat{f})$ 和 $R_{exp}(\hat{f})$ 接近，并且 $R_{exp}(\hat{f})$ 很小，那么我们所学习的模型 $\hat{f}$ 就与真实的 $P(y|x)$ 很接近。

这篇文章主要是从第二个式子来讨论问题，就是主要分析模型的泛化能力，推导模型的复杂程度和泛化能力之间的关系（也就是表征系统复杂度的vc维和泛化误差之间的关系）。

Hoeffding不等式

对于上面的第二个式子，只是这样定性的描述我们的目标，其实并没有什么卵用，于是，有人想到了Hoeffding不等式：

若：

1.若 $x$ 服从参数为 $p$ 的伯努利分布的随机变量。

2. $x_{1},x_{2},...,x_{n}$ 是从母体 $x$ 中取的子样。

那么：

$P(|\bra{x}-E(X)|>\varepsilon )\leq 2e^{-2\varepsilon^{2}N}$

其中：

$\bar{x}=\frac{x_{1}+x_{2}+...+x_{n}}{n}$

有了Hoeffding不等式，上面的第二个式子就可以写为：