机器学习基石 7.2 VC Dimension of Perceptrons

2D PLA Revisited

VC Dimension of Perceptrons

要证明这个事情分为两步：

Extra Fun Time

如何证明$d_{VC}⩾d+1$？存在一个$d+1$的输入可以被shatter。

$d_{VC}⩾d+1$

注意这个矩阵$X$可逆。

Can We Shatter $X$?

上面说明了可逆矩阵一定可以被shatter。

Extra Fun Time

如何证明$d_{VC}⩽d+1$？任何$d+2$的输入都不能被shatter。

$d_{VC}⩽d+1$

${\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_4$必然大于零，所以不能是叉，只能是圈。
上面说明了限制dichotomy的数量的原因本质上是点之间存在的线性依赖的关系。

一般情况：

行数比列数多，这$d+2$个行向量必然线性相关。

假设选择的$\mathbf{w}$使得右侧的d+1项恰好满足感上图的关系，那么最后一个只能是圈，是叉的无法产生。