机器学习基石 Lecture6: Theory of Generalization
Restriction of Break Point
上一个lecture里讲到关于对于给定数量 N N N的数据集,在上面通过对不同假设函数进行分类的类别上限可以用一个growth function m H ( N ) m_{H}(N) mH(N)来表示。而这个函数有一个Break Point,在这个点 k k k开始, N N N大于 k k k时的结果会小于 2 N 2^{N} 2N。下面是几种不同假设空间的growth function:
那么当知道了第一个Break Point k k k之后对 k + 1 k+1 k+1时的情况进行推导时会发生什么呢?
比如假设当前 N = 3 N=3 N=3而对应的 k = 2 k=2 k=2,那么在计算 m H ( N ) m_{H}(N) mH(N)过程如下。首先明确,**Break Point k = 2 k=2 k=2 的意思是,对于任意的 k k k个样本点,都不能被分成 2 k 2^{k} 2k种不同的dichotomies。**对应图示如下:
当前的3个样本点被分为了3种不同的dichotomies。而且没有哪两个样本的组合被分配成了