Def:如果存在H个样本能够被函数集中的函数按所有可能的2的H次方种形式分开,则称函数集能够把H个样本打散;函数集的VC维就是它能打散的最大样本数目H。
VC维越大,推广能力越差?
分类器的VC维,可以认为是分类器可以分开各种样本的能力。VC维很大,分类器就可以分开一些很特殊情况下的样本。如,一个2维的平面,线性分类器的VC维是3,可以分开任意的3个点。若有4个点,就有点无能为力了。你给的样本中,也许就有这样的几个点的分布,使得分类器不能将他们分开。但是当你将分类器的复杂度提高,如使用2次曲线的分类器,等等,就能将这些点分开。这样复杂度提高后,其VC就提高了。 这个情况,就像我们训练中常见的过拟合的情况。我们可以用很高次的曲线去拟合一个样本,其误差可以很小。但当新的数据来时,其误差就会很大。在过拟合中,不同的样本,会产生的分类器会相差很大,即方差很大,虽然其拟合的很好,其偏差很小。好的分类器,我们希望是不同的足够的样本,分类器的变化不能过大,偏差不大。这跟偏差和方差的权衡很像。
所有的这些跟剃刀原理应该是一致的:设计者不应该选用比‘必要’更加复杂的分类器。