【机器学习基础】理解为什么机器可以学习3——VC理论

引入

上一小节中，“理解为什么机器可以学习——Hoeffding不等式”中，我们介绍了有限假设空间中的概率边界。在这篇文章中，我们将推广至无限假设空间中，进而引入VC理论。

面临待解决的问题

上一节，我们证明了PAC学习的样本复杂度随假设空间对数增长，但是以假设空间的个数|H|来刻画样本复制度存在缺点：

• 对于|H|很大的情形，会使一个很弱的边界，即出现错误的概率很大
• 对于无限假设空间的情形无法应用

所以，我们要考虑H的复杂度的另一种度量方式，称为H的Vapnik-Chervonenkis维度（简称VC维），我们用VC(H)代替|H|得到样本复杂度的边界。

打散(shatter)一个数据集合

VC维衡量假设空间复杂度的方法不是用不同假设的数量|H|，而是用给定X中能被H彻底区分的不同实例的数量（举个例子，比如2D空间有两个数据，如果是用感知机模型的话，可以将这两个数据分成两个正例、两个负例、一正一负或一负一正，我们知道在这种情况下，感知机的假设空间是无穷的，但是实际上导致最终分类的只有4中不同结果）。

Dichotomy，一分为二的划分

想象我们现在有一个假设集合，这个假设集合将N个点的数据分成正例和负例的不同组合（用圈和叉来表示），于是我们就将假设将数据分成不同正负例的组合称为Dichotomy。Hypotheses和Dichotomies的区别如下图所示，Dichotomies最多有2的N次方种可能。于是，我们就打算用Dichotomies的有效数量来取代有限假设空间的Hoeffding不等式中的M。