机器学习系列1---VC维问题

     VC维是机器学习中用于表示机器学习能力的一个重要指标，其大小表示函数集或学习机的复杂性。在介绍一个模型VC维之前需要简要介绍一下数据“Shater（打散）”概念：

Lemma 1: 对于一个函数集S，如果存在 h 个样本，能够被S中的函数以所有可能的  形式分为两类，则称该函数集能够把 h 个样本打散。

Lemma 2: 一个函数集的VC维是指它能够打散的最大样本数 h ，即能够被集合中函数以所有可能的  种方式分为两类的向量的最大数目。

       如果对于任意数目的样本都可用该函数集中的函数将其打散，则称该函数集的 VC 维无穷大。函数集VC维越大，表示其构建的学习机学习能力越强（函数学习方式越多），模型越复杂、运算量越大（产生过拟合现象）。

       关于VC维的求解问题目前没有统一的计算方法，但是在设计一个机器学习系统时，应尽量使用VC维较少的算法，或者通过优化设计减少学习机的VC维，这个推论主要来源与系统经验误差和真实误差之间的关系，具体推导请看下一节。

写于2020-4-27

加油！