PAC增长函数与VC维极简例子

动机

从组合的方式，计算学习模型的表达能力。表达能力越强的模型越复杂。

例1：一个分割点

如图1所示，输入空间为实数轴。假设学习模型为一个分割点（一维上的分割超平面），将负类（三角形）与正类（圆形）分开。

图1. 一个分割点的情况
计算增长函数：
对于m个数据而言，分割点 $d$有 $m+1$个位置可选（两邻两个数据之间只能算一个位置）。

1. 分割点$d$左/右可以是正/负，也可以是负/正，因此有$2(m+1)$种分类方式
2. $d$在最左边和最右边，均表示所有的样本预测为同一类，因此有2种重复的分类方式。
3. 不同的分类方式有$2(m+1)-2=2m$种。
   计算VC维：
   当$m=1$时，$2m=2^m$, OK;
   当$m=2$时，$2\ast 2=4=2^2$, OK;
   当$m=3$时，$2\ast 3=6<8=2^3$, 不满足等式，结束。
   因此VC维=2.

例2：两个分割点

如图2所示，

图2. 两个分割点的情况
计算增长函数：
对于m个数据而言，分割点 $l$, $r$有 $m+1$个位置可选（相邻两个数据之间只能算一个位置）。

1. 不允许$l$和$r$在一起，共有$C(m+1,2)=(m+1)m/2$种方式；
2. 区间$[l,r]$可以表示负（其余为正），也可以表示正（其余为负），要乘以2. 所以有$(m+1)m$种方式；
3. $[1,k]$和$[k,m+1]$是等价的$k\in [2..m]$，因此重复计算的方式数为$2(m-1)$。
4. 最终的方式数$(m+1)m-2(m-1)=m^2-m+2$种。
   计算VC维：
   当$m=1$时，$m^2-m+2=2=2^m$, OK;
   当$m=2$时，$m^2-m+2=4=2^2$, OK;
   当$m=3$时，$m^2-m+2=8=2^3$, OK;
   当$m=4$时，$m^2-m+2=14<2^4$, 不满足等式，结束。
   因此VC维=3.

讨论：

1. $m=1$时居然成立；
2. 这两个例子的VC维可以通过观察得到，因此，本贴仅仅是作为一种简单练习而存在。

参考文献
[1]: Foundations of Machine Learning.