那些你重复百度却始终记不住的问题:VC维

定义:对于一个指示函数集，如果存在h个数据样本能够被函数集中的函数按所有可能的$2^h$种形式分开 ，则称函数集能够把h个数据样本打散（shatter）。函数集的VC维就是能打散的最大数据样本数目h。若对任意数目的数据样本都有函数能将它们shatter，则函数集的VC维为无穷大。
VC维在机器学习中是用来衡量函数集性能的一种指标——VC维越大，则学习过程越复杂。
直观理解: 二维平面中有3个样本点(标签不定), 有$2^3$种线性函数将其分开, 且当增加到4个样本点时, 没有$2^4$种线性函数将其分隔开, 则二维平面的VC维是3.
如何理解: 可以把VC维和模型复杂度联合起来考虑, 在深度学习场景中, 数据的维度非常高, 也会导致VC维升高, 当VC维越高的时候, 说明划分样本点的线性函数越多, 即函数集的假设空间越大, 那么在如此多的线性函数中找到一个最优的就变得很难.
参考文章:
https://blog.csdn.net/u013745804/article/details/80834743
https://www.zhihu.com/question/23418822/answer/299969908