文章目录
1. Estimating B ( 4 , 3 ) B(4, 3) B(4,3)
写一个程序把
B
(
4
,
3
)
B(4, 3)
B(4,3)暴力算出来。
得到
B
(
4
,
3
)
=
11
B(4, 3)=11
B(4,3)=11。
给 B ( 4 , 3 ) B(4, 3) B(4,3)的这11种dichotomy根据 x 4 x_{4} x4是否成对出现重新排序,橙色表示 x 4 x_{4} x4成对出现,且前三个位置全部一样,紫色表示不能找到前三个全部一样的使 x 4 x_{4} x4成对出现的情况。
设橙色的个数为
2
α
2\alpha
2α,紫色的个数为
β
\beta
β。
由于前3个也要满足任意三个不能shatter,所以
α
+
β
⩽
B
(
3
,
3
)
\alpha+\beta\leqslant B(3,3)
α+β⩽B(3,3)。
由于在橙色部分 x 4 x_{4} x4已经成对出现了,即已经被shatter了,而且 B ( 4 , 3 ) B(4,3) B(4,3)还要满足任意3个不能shatter,所以对于前三个就要满足任意2个不能shatter,所以 α ⩽ B ( 3 , 2 ) \alpha\leqslant B(3,2) α⩽B(3,2)。
2. Putting It All Together
3. Bounding Function: The Theorem
对上面得到的结果应用数学归纳法,可以得到
实际上这里的“ ⩽ \leqslant ⩽”可以用“ = = =”替换。只要再算出其下界即可。
这就证明了 B ( N , k ) B(N,k) B(N,k)是一个多项式函数。
4. The Three Break Points
前两个模型的 m H m_{\mathcal{H}} mH符合上面推导出的上限。然而2D perceptrons的 m H m_{\mathcal{H}} mH具体长什么样还是不知道,但是我们知道它的break point是4。
只要知道一个break point,那么 m H m_{\mathcal{H}} mH的增长速度最多也就和多项式一样。
5. Fun Time
注意,第四个选项是对的,这时是严格小于的关系。