Lecture 6:theory of generalization一般化理论
6-1 Restriction of Break Points
成长函数m:假说h在n个点上可以产生多少个二分(dichotomies)。
若正向o,反向×,则
理解程度一般,positive intervals为什么xox可以呢?
这种情况认为x2和x3是被shatter的(4种情况都涵盖全了)。
break point=2的意思:任意两个点都不能shatter。
而这种情况是不能被shatter的,证明4种dichotomies是可以的。
而当5种dichotomies时,必有两个x,所以肯定有两个参数x是会被shatter的。
所以在这里的maximum possible(也就是成长函数m)是4种。
上面的x1,x2,x3的情况是N=3的。
这节的fun time是break point=1,N=3时,只能有1种成长函数m,原因如图:
第二种情况加进来,不管怎么加,都会有一个参数x同时有x和o的情况。(此时假设的条件是一个都不能shatter)
6-2 Bounding Function (上限函数B)
关注的问题:到底可以做出多少种排列组合?
B(N,k)总共N个维度,任意k维都确保不能shatter,这时能有几种dichotomies。
成长函数m和B的关系:m<B(B是m的上限)
当N<k时,就相当于任意N维不能shatter,所以此时是2^N。
当N=k时,全部结果是不能shatter的,所以要减一种,最后结果是2^N-1。
加上6-1最后两图的情况,目前有:
6-3 Bounding Function (上限函数B)-Inductive cases
现在想做的是填写6-2图表中的其他值。
用程序找到B(4,3)=11 4+7=11=2alpha+beta
这时要求alpha+beta<B(3,3)且alpha<B(3,2) 故2alpha+beta<B(3,3)+B(3,2)
推广到B(N,k) 有:
填写完大致的表:
成长函数m的上限是上限函数B,上限函数B的上限是某个多项式函数poly(N)。
所以,我们可以得到结论:成长函数最多,也就只能够和某个多项式函数的值一样大。如图:
6-4 A Pictorial Proof
本节的内容是讲解公式中的三个常数是怎么算出来的(不是从数学上,而是从逻辑上)。
这里不做过多的讲解啦(觉得不是重要的内容)。下次学第七课!
注:图片全部来自台大林轩田教授《机器学习基石》视频课程截图。