【机器学习基础】VC维与模型复杂度、样本复杂度

引言

上一小节，我们引入了VC维的概念，用它来描述假设集合的表达能力。这一小节中，我们将从VC维的物理意义出发，进一步学习如何根据VC维传达的信息来选择模型和假设集合。

VC维的物理意义

如果我们将假设集合的数量|H|比作假设集合的自由度，那么VC维就是假设集合在做二元分类的有效的自由度，即这个假设空间能够产生多少Dichotomies的能力（VC维说的是，到什么时候，假设集合还能shatter，还能产生最多的Dichotomies）。

VC维、真实错误率、训练错误率

在上一节中，我们讨论要做到好的预测要满足两个条件，第一是训练误差要接近真实误差，即Ein(g)约等于Eout(g)；第二是训练误差要尽量接近0，即Ein(g)约等于0。
现在，我们用VC维这个工具来描述。