VC维的物理意义

1. 物理意义1
   我们上一节证明了，对于二分类问题，当他的数据为d维的时候，他vc维度为d+1，即$v_{vc}=d+1$,这告诉了我们上面信息呢？？？
   对于二分类的hypothsis,如果数据为d为的话，其可以用参数$w=(w_0,w_1,...,w_d)$来表示。即这个w向量就相当于H的“可调旋钮一样”，我们称其为H的自由度。很明显这个w向量总共有d+1个“可调旋钮”（$w_0,...,w_d$）。而这刚刚好是$d_{vc}$在数据的维度为d时候的值。即我们可以认为，$d_{vc}$的值其实就表示二分类超平面H的有效自由度，$d_{vc}$的值表示超平面“可调旋钮”的数目。
   比如，对于我们先前提到的一下情况
   
   发现他的可调旋钮的参数（free parameters）为a，仅仅只有一个。而此时他的$d_{vc}$正好也为1。
   
   同理，在这种情况下，他的可调旋钮的参数（free parameters）为l，r，有两个。而此时他的$d_{vc}$正好也为2。
   所以我们认为，$d_{vc}$就是表示可调旋钮的数量（自由参数）
   

2. 物理意义2 模型复杂度
   对于VC boud 不等式
   
   我们就、可以用其他的变量表示出$\epsilon$
   
   我们看书一根据VC bound 表示出
   的概率为
   即在该概率下，有
   
   即
   
   在上图中，我们用$\Omega (N,H,\delta )$表示上图后面的表示式。
   那么在N不变，仅改变$d_{vc}$的情况下，误差的变化曲线为
   

注：里面的 in-sample error 表示$E_{in}$, out-of-sample error表示$E_{out}$。
所以我们发现并不是$E_{in}$越小越好，即并不是$d_{vc}$越大越好，也就是并不是模型越复杂越好。由于我们最终希望的是$E_{out}$最小，所以最好的$d_{vc}$为靠近中间的那种情况。

1. 物理意义3 样本复杂度
   我们用vc bound 见图
   
   可以推理得到，在给定$d_{vc}$的情况下，理论上需要样本的数量N=10,000$d_{vc}$。
   但是，根据经验发现，N=10$d_{vc}$ 就足够了。
   原因是我们那个VC bound 的不等式，为了能够满足所有的情况，放得太松了！！！