台湾大学林轩田《机器学习基石》学习笔记第6讲——Theory of Generalization

上一节课我们使用了dichotomy来替代hypothesis set的个数，引入了mH(N)的概念，同时也提出了growth function的break point来表征其增长速度。上一节课还预测了针对2D perceptron 的成长函数mH(N)是多项式的猜想，那么这一课就一起来验证一下。
一、Restriction of Break Point

• 这是上一节课提到的四种不同growth function的最小break point值；
• 我们关心的是当最小break point k出现之后，那么之后的k+1、k+2的情况会使怎样的？

• 这个例子设定某一个一般的growth function的break point为2，那么当N=2或者3或者更大的时候，mH(N)最大会是多少？
• 当N=1时，因为没到break point，所以这个点是能够被shatter的，这里的shatter是指能够找到2^N个dichotomy；
• 当N=2时，因为到了break point，因此最多只能找到<2^2（<4）个dichotomy，即最多三个；
• 当N=3时，通过上一条，任意两个点是没