VC 维

在学习斯坦福大学吴恩达先生的机器学习公开课时，对VC维这块没有弄得太懂，后来找了一些资料进行补充学习，略通一二，现把理解的内容整理出来，仅供以后参考。

问题的来源

机器学习，是对问题建立数学模型。因为真实的模型未知，我们建立的模型，是否和真实的模型是一致的，是并不知道的。两者间的误差的累计叫风险。
我们建立好一个模型之后，在一个已经标注好的样本数据上进行测试，得到的结果与标注情况进行对比，其差值就是经验风险。
我们建立模型，努力使得其经验风险最小，但是其结果往往是使得建立的模型过于复杂（过拟合）。也就是在一个小样本上获得较好结果的模型，在大数据中的结果，往往不是尽如人意的。在此引入泛化误差（模型在真实情况（总体）上所表现出的误差就称为泛化误差）的概念。有人将真实的风险分为经验风险按和结构风险。认为结构风险与样本数量和分类函数的VC维有关，样本数量越大，结构风险越小；VC维越大，推广能力越差，结构风险越大。

对分

首先解释一下，对分的概念。
假设，有一个假设集$\cal H$，它是一个二分类的集合。$h$是其中的一个假设，当一个大小为N的数据样本集$(x_1,x_1,\dots,x_{N-1})$通过$h$得到的结果为$(h(x_1),h(x_1),\dots,h(x_{N-1}))$，这个结果中的每个元素都是1或0（因为是二分类，所以只有两个结果），则称这个结果可以作为一个对分（Dichotomy）。

参考

1. 如何通俗的理解机器学习中的VC维、shatter和break point？
   知乎上关于vc维的解释，还是很好理解的