VC维的理解

Def：如果存在H个样本能够被函数集中的函数按所有可能的2的H次方种形式分开，则称函数集能够把H个样本打散；函数集的VC维就是它能打散的最大样本数目H。

 

VC维越大，推广能力越差？

分类器的VC维，可以认为是分类器可以分开各种样本的能力。VC维很大，分类器就可以分开一些很特殊情况下的样本。如，一个2维的平面，线性分类器的VC维是3，可以分开任意的3个点。若有4个点，就有点无能为力了。你给的样本中，也许就有这样的几个点的分布，使得分类器不能将他们分开。但是当你将分类器的复杂度提高，如使用2次曲线的分类器，等等，就能将这些点分开。这样复杂度提高后，其VC就提高了。 这个情况，就像我们训练中常见的过拟合的情况。我们可以用很高次的曲线去拟合一个样本，其误差可以很小。但当新的数据来时，其误差就会很大。在过拟合中，不同的样本，会产生的分类器会相差很大，即方差很大，虽然其拟合的很好，其偏差很小。好的分类器，我们希望是不同的足够的样本，分类器的变化不能过大，偏差不大。这跟偏差和方差的权衡很像。

所有的这些跟剃刀原理应该是一致的：设计者不应该选用比‘必要’更加复杂的分类器。