Vapnik-Chervonenkis dimension

source from: https://www.autonlab.org/_media/tutorials/vcdim08.pdf

定义

VC维是用来反映函数集学习能力的大小。

上面的讲义直接给出了VC维的定义。为了更形象地了解VC维的含义，还需要以下定义

Shattering

通俗点说，分散就是任意给定一个集合$X={x_1,x_2,...,x_r}$，设计的分类器能够正确地将其分类。

VC维就定义为分类器能够分散的最多数量的点。

例子

VC dimension = 2

VC dimension = 1

用处

可以用于模型选择

上图展示了一个结论，并不是VC维越高就越好，VC维越高，模型越复杂，同时泛化误差越大。

替代方法

在Slide里面给出了三种替代VC维进行模型选择的方法

Cross-validation

Akaike Information Criterion

Bayesian Information Criterion