机器学习基石-07-3-Physical Intuition of VC Dimension

自由度degrees of freedom

dvc=d+1的d+1其实也就是感知机的维度，这样就把VC维和感知机的维数联系起来了。hypothesis “power” dvc=d+1：有效的二元分类的自由度。VC维的power也就是用来衡量H到底能产生多少种dichotomy的能力，VC维就表示到什么时候我们还能shatter，也就是还能产生最多的dichotomy。

从上面两个例子上可以看出，VC维就是算法的参数个数，在positive intervals中的两个参数就是区间的两个端点值。

physical institution物理意义

VC维就是大体上可以调节的参数个数。

M和dvc的联系：

当dvc太小时，自由度的power受到了限制。

FUN TIME

要求参数w0=0的感知机，本来是d+1个参数，但是w0被固定住了，所以可以进行调节的参数就只有d个了，所以自由度=d，也就是dvc=d。