转网上关于VC维的一些解释，通过这些解释可以比较清楚地了解VC维

VC维的理解

2010-10-21 10:00

这两天在看VC维，文献上讲的一直不太明白，今天看到一篇文章，终于有些理解了。 VC维的直观定义是：对一个指标函数集，如果存在h 个样本能够被函数集中的函数按所有可能的2h种形式分开，则称函数集能够把h个样本打散；函数集的VC维就是它能打散的最大样本数目h。若对任意数 目的样本都有函数能将它们打散，则函数集的VC维是无穷大，有界实函数的VC维可以通过用一定的阀值将它转化成指示函数来定义。 故有这样的结论，平面内只能找到3个点能被直线打散而不找到第4个。 对于这个结论我是如下理解的： （1）平面内只能找到3个点能被直线打散：直线只能把一堆点分成两堆，对于3个点，要分成两堆加上顺序就有23种。其中A、B、C表示3个点，+1，-1表示堆的类别， {A→-1,BC→+1}表示A分在标号为-1的那堆，B和C分在标号为+1的那堆。这就是一种分发。以此类推。则有如下8种分法： {A→-1,BC→+1}，{A→+1,BC→-1} {B→-1,AC→+1}，{B→+1,BC→-1} {C→-1,AB→+1}，{C→+1,BC→-1} {ABC→-1}，{ABC→+1} （2）找不到4个点。假设有，则应该有24=16分法，但是把四个点分成两堆有：一堆一个点另一对三个点（1，3）；两两均分（2，2）；一堆四个另一堆没有（0，4）三种情况。对于第一种情况，4个点可分别做一次一个一堆的，加上顺序就有8种： {A→-1,BCD→+1}，{A→+1,BCD→-1} {B→-1,ACD→+1}，{B→+1,ACD→-1} {C→-1,ABD→+1}，{C→+1,ABD→-1} {D→-1,ABC→+1}，{D→+1,ABC→-1}； 对于第二种情况有4种： {AB→-1,CD→+1}，{AB→+1,CD→-1} {AC→-1,BD→+1}，{AC→+1,BD→-1} 没有一条直线能使AD在一堆，BC在一堆， 因为A、D处在对角线位置，B、C处在对角线位置。（这是我直观在图上找出来的） 对于第三种情况有2种； {ABCD→-1} {ABCD→+1} 所以总共加起来只有8+4+2=14种分法，不满足24=16分法，所以平面找不到4个点能被直线打散。

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

ＶＣ维

假定我们有一个数据集，包含Ｎ个点。这Ｎ个点可以用  种方法标记为正例和负例。因此，Ｎ个数据点可以定义种不同的学习问题。如果对于这些问题中的任何一个，我们都能够找到一个假设ｈ∈将正例和负例分开，那么我们就称散列（ｓｈａｔｔｅｒ）Ｎ个点。也就是说，可以用Ｎ个点定义的任何的学习问题都能够用一个从中抽取的假设无误差地学习。可以被散列的点的最大数量称为的ＶＣ维（ＶａｐｎｉｋＣｈｅｒｖｏｎｅｎｋｉｓｄｉｍｅｎｓｉｏｎ），记为ＶＣ（），它度量假设类的学习能力（ｃａｐａｃｉｔｙ）。

在图２５中，我们可以看到，轴平行的矩形能够散列二维空间的４个点。因此，当为二维空间中轴平行的矩形的假设类时，ＶＣ（）等于４。在计算ＶＣ维时，能找到４个被散列的点就够了；没有必要去散列二维空间中任意４个点。例如，位于同一直线上的４个点不能被矩形散列。然而，我们无法在二维空间的任何位置设置５个点，使得对于所有可能的标记，一个矩形能够分开正例和负例。

（点击查看大图）图２-５　轴平行的矩形能够散 列４个点，其中只显示了覆盖两个点的矩形

也许ＶＣ维看起来比较悲观，它告诉我们使用矩形作为假设类， 我们只能学习包括４个点的数据集。能够学习含有４个点的数据集的学习算法不是很有用。然而， 这是因为ＶＣ维独立于数据实例的概率分布。在实际生活中，世界是平滑变化的， 在大多数时间相近的实例具有相同的标记，我们并不需要担心所有可能的标记。有很多包含远不止４个点的数据集都可以通过我们的假设类来学习（参见图２-１）。因此， 即便是具有较小ＶＣ维的假设类也是有应用价值的，并且比那些较大的ＶＣ维（例如， 具有无穷ＶＣ维的查找表）更可取。