Machine Learning Foundation Lecture 06 Theory of Generalization学习笔记

        第6讲看完，继续学习笔记。这一讲的最终目的是证明，能否用growth function来代替M。

        知识点1：从第5讲中我们知道不同的hypothesis有不同的Growth function( )。

        例如：Positive rays:， break point at 2；

                   Positive intervals: ，break point at 3；

                   Convex sets: ，no break point；

                   2D percenptron: ，break point at 4;

        从这里我们可以看出break point和growth function的增长速度是有关系的。如果没有break point，growth function的增长是指数级（Exponential）的增长，如果有break point，growth function的增长是多项式（Polynomial）级的增长（这里是需要证明的）。

        break point我们用k来表示。如果k=2，N=3，表示3个数据中任意2个数据是不能shatter的，shatter的意思是2个数据中不能包含全部4种不同的形式(O,O), (X,X), (X,O),  (O,X)。

      例如：

N=2, k=2

X1	X2
O	O
O	X
X	O

我们看到x1和x2没有shatter。这里的dichotomy最多有3个，不能出现第4个，否则就shatter了。

N=3, k=2

x1	x2	x3
O	O	O
O	O	X
O	X	O
X	O	O

我们看到x1和x2没有shatter， x1和x3没有shatter，x2和x3没有shatter。这里的dichotomy最多有4个，不能出现第5个，否则就shatter了。

        知识点2：Boudning Function B(N, k)上限函数，是break point=k时，Growth Function的最大可能数。

        因为有些hypothesis的growth function是不知道的，但是我们可以知道这个hypothesis的break point是多少，这样在growth function不知道的情况下，我们就可以通过bounding function来知道growth function的最大成长函数是怎么样的。bounding function是不是多项式增长的？

B(N,k)		k
N		1	2	3	4	5	6	...
	1	1	2	2	2	2	2
	2	1	3	4	4	4	4
	3	1	4	7	8	8	8
	4	1	<=5	11	15	16	16
	5	1	<=6	<=16	<=26	31	32
	6	1	<=7	<=22	<=42	<=57	63
	...

• B(2,2)=3，B(3,2)=4，从知识点1中得到的数据；
• B(1,1)=1, B(2,1)=1, B(3,1)=1, ... , B(N,1)=1；
• break point k>N & 任何k点不能shatter，B(N,k)=；
• N=k时，从B(1,1)=1, B(2,2)=3, B(N,k)=-1；
• B(4,3)=11(用程序算出了11个dichotomy)；B(4,3)=2a+b; a+b<=B(3,3), a<=B(3,2) ==> 2a+b<=B(3,3)+B(3,2)
  
• B(N,k)<=B(N-1,k)+B(N-1,k-1)

        最终公式，得到了最大项是，所以得到了结论growth function的bounding function的上限是个多项式函数。这样我们就能用growth function来replace M了。

        知识点3：Vapnik-Chervonekis (VC) bound