VC维

为什么引入VC维
PAC中以|H |来刻画样本复杂度,它存在以下不足:可能导致非常弱的边界;对于无限假设空间的情形, 1/b*(log2(|H|)+log2(1/d))((2)式)根本无法使用。因此有必要引入另一度量标准VC 维。假设空间的VC 维, 用VCdim(H)表示, 被定义为最大的样本数d ,使得在所有可能的2 d 种二分(dichotomy)中,都能找到与该划分一致的一个假设。VC 维较准确地描述了PAC 学习所需的样本的长度。若C H ,则C 的一致
算法需要的样本数最多为：
法需要的样本数最多为[ 5] :
1/2(1 - ε)*(2VCdim(H)ln1/εln2/δ) (3)
如假设空间是在布尔域内, 则(2)给出了较好的界;但若是在实数域内, 因此时Hn = ∞, 则只能用(3)式, 对于针对某一具体表示(如神经网络)或当训练数据有噪声时, 如何求其样本复杂度, 。若L 是一致算法, 且VCdim(H)是有限的, 则算法L 是PAC学习的;反过来, 若L 是PAC学习的, 则概念类C 必有有限的VC维。

分散的概念
分散(shatter)的概念：对于一个给定集合S={x1, … ,xd}，如果一个假设类H能够实现集合S中所有元素的任意一种标记方式，则称H能够分散S。

VC维的定义：
H的VC维表示为VC(H) ，指能够被H分散的最大集合的大小。若H能分散任意大小的集合，那么VC(H)为无穷大。在《神经网络原理》中有另一种记号：对于二分总体F，其VC维写作VCdim(F)。

二维线性分类器举例说明为什么其VC维是3，而不能分散4个样本的集合，这里也就是容易产生困惑的地方。下面进行解释。
　　对于三个样本点的情况，下面的S1所有的标记方式是可以使用线性分类器进行分类的，因此其VC维至少为3
　
　虽然存在下面这种情况的S2，其中一种标记方式无法用线性分类器分类
　
　但这种情况并不影响，这是因为，上一种的S1中，我们的H={二维线性分类器}可以实现其所有可能标签情况的分类，这和S2不能用H分散无关。

而对于4个样本点的情况，我们的H不能实现其所有可能标签情况的分类（这是经过证明的，过程不详）如下图中某个S和其中一种标签分配情况：

从这个解释过程可以看出，对于VC维定义理解的前提是先理解分散的定义。分散中的集合S是事先选定的，而VC维是能分散集合中基数（即这里的样本数）最大的。因此，当VC(H)=3时，也可能存在S’，|S’|=3但不能被H分散；而对于任意事先给定的S”，|S”|=4，H不能对其所有可能的标签分配方式进行分散。这里所谓“事先给定”可以看作其点在平面上位置已定，但所属类别未定（即可能是任意一种标签分配）。

抛出了一个结论：Dvc = d+1， d为feature vector的维度。
要证明这个等式，可以将它分为两块证明，
1 证明 Dvc >= d+1;
2 证明 Dvc <= d+1;
（此处不再具体证明）

这个图说了：
1 Dvc越高 -> Ein下降（shatter能力变强）-> model complexity的penalty提高，导致Eout先降后升
2 Dvc越低 -> Ein升高 -> model complexity的penalty降低，Eout最终也是会上升
所以最好情况的Eout是我们选取Dvc在中间的情况，这样Ein和penalty都不高，即最终的Eout也不会太高。这也就是为什么，我们不能够盲目增加feature也不能有太少feature的原因。

求二维上圆（3）和三角形（7）的VC维，需要给出说明。
———以下来自mythly（主要）和ejade（次要）的讨论结论——-
一维，实数轴上的点，用区间分，VC=2

二维，平面上的点
用直线/圆（强于直线，直径无穷大时可看成直线）VC=3（维数+1）

直线易证，圆3时易证 4时对任意四个点找最小的外接圆，然后要圆上的至多三个点在圆内，其余点在圆外，矛盾。

用矩形/正方形 VC=4（维数*2）

4时易证，5时取最上最左最右最下的点在里面，剩下一个点在外面。

凸多边形 VC=维数*边数+1

对三角形简要证明思路。
证存在7可以时，举个正七边形，0个在里面1个在里面2个在里面3个在里面（以那三个为顶点画）都显然。剩下4567在里面，相当于任意0123在外面，比如3个在外面，三角形一条边割一个出去即可。
证任何8不可以时，首先考察任意8个点的凸包（凸包概念请自学），如果有点在凸包内，那么要凸包上的点在里面，凸包里的点在外面，这显然是不可能的。
否则就是8个点都在凸包上。取不相邻的4个在里面。另外不相邻的4个就要在外面，由于在外面至少要在三角形一条边的外面，根据鸽笼原理，至少有两个点在同一边的外面。这样势必那两点间的应该在里面的点也会被切出去，矛盾了。。。

意思大致看看就行了嘛~格式很渣的>.<
所以凸45678变形都可以用上述证法以此类推
三维，根据推论
平面/球 4（维数+1）
超立方体（正方体，长方体）VC=6（维数*2）
证略

All the decision trees can be represented by Boolean functions Vc(H)=∞