VC维度定义:
对于一个指示函数集,如果存在h个数据样本能够被函数集中的函数按所有可能的2^h 种形式分开 ,
则称函数集能够把h个数据样本打散(shatter)。函数集的VC维就是能打散的最大数据样本数目h。
若对任意数目的数据样本都有函数能将它们shatter,则函数集的VC维为无穷大。
VC维在机器学习中的意义还是很大的,它是统计学习理论用来衡量函数集性能的一种指标——VC维越大,则学习过程越复杂。
目前还没有通用的关于任意函数集VC维的计算理论,只知道一些特殊函数集的VC维。
可简单理解为模型的复杂度和灵活度,VC维越高的模型,能够表征的函数就越广泛,但由于数据的不足容易造成过拟合。
参考:
https://www.zhihu.com/question/23418822