VC维

举个例子：

假设我们有 l 个点，每个点我们都有个标记 Yi = {+1,-1}，把这 l 个点 分别进行标记+1或者-1 ，那么有2l 种方法。对于函数集 { f(x,α) } （f(x,α) 就是前面提到的机器学习得到的分类函数） 中的函数，2l中的每个方法都能从函数集中找到一个函数去成功的标记，那么就说这个函数集 { f(x,α) } 的VC维度为 l 。也就是函数集能够进行标记的数据点的最大个数（用行话叫做分散）。再实际一点：

这是在二维坐标平面上，3个点，将他们进行比较为2个类别，会有2的3次方，也就是8种方法，可以看到每种标记方法我们都可以找到一条直线把这3个点分散（就是根据类别分开）。但是4个点的时候，你却发现有几种情况你无法找到一条直线将他们按照类别分开在直线的两侧。这也就说明了在二维空间里，一个直线的集合的VC维度是3。