机器学习——VC维问题

问：一般来说，函数集的VC维越高说明其表示能力越强

答：正确。VC维越大，学习机预测函数集的学习能力越强、泛化能力差，学习机也越复杂。

VC维度定义：

对于一个指示函数集，如果存在h个数据样本能够被函数集中的函数按所有可能的2^h 种形式分开 ，则称函数集能够把h个数据样本打散。函数集的VC维就是能打散的最大数据样本数目h。

若对任意数目的数据样本都有函数能将它们打散，则函数集的VC维为无穷大。

VC维在机器学习中的意义还是很大的，它是统计学习理论用来衡量函数集性能的一种指标——VC维越大，则学习过程越复杂。目前还没有通用的关于任意函数集VC维的计算理论，只知道一些特殊函数集的VC维。

可简单理解为模型的复杂度和灵活度，VC维越高的模型，能够表征的函数就越广泛，但由于数据的不足容易造成过拟合。