机器学习基石-The theory of generation

大纲

Restriction of Break Point

我们发现，当$N>k$时,break point k限制了$m_H(N)$最大值的大小，也就是说，影响$m_H(N)$大小的因素有两个

• 训练数据$D$的大小
• break point k(不同的k代表不同的假设)

那么，如果给定N和k，能够证明其$m_H(N)$的最大值的上界是多项式的，则根据霍夫丁不等式，就能用$m_H(N)$代替M，得到机器学习是可行的。所以，证明$m_H(N)$的上界是$poly(N)$，是我们的目标。

Bounding Function

定义

$B(N,k)$:当break point是k时，$m_H(N)$的最大取值，这里注意，这里引入上界函数的意义是不考虑移除假设的约束，也就是说不考虑是1D postive intrervals问题还是2D perceptrons问题，而只关心成长函数的上界是多少，从而简化了问题的复杂度。

那么我们的新目标就是证明$B(N,k)\leq poly(N)$

结论

通过上面的结论，我们可以知道，如果break point存在的话，$B(N,k)$upper bounded $poly(N)$,进一步可以推出，$m_H(N)$是关于N的多项式阶的。

接下来我们验证一下之前介绍的几种类型的$m_H(N)$和break point的关系

更一般的，如果我们对于一个模型，不知道他的成长函数，如果我们可以找到他的break point，那么我们就可以推测其成长函数的最大值

A Pictorial Proof

最终，我们通过引入成长函数mH，得到了一个新的不等式，称为Vapnik-Chervonenkis(VC) bound：

因为对于2D的感知机，break point是4，所以我们知道他的$m_H(N)$是O(N^3),到此为止，我们证明了学习2D的感知机是可行的。