机器学习基石 Lecture6: Theory of Generalization

Restriction of Break Point

上一个lecture里讲到关于对于给定数量$N$的数据集，在上面通过对不同假设函数进行分类的类别上限可以用一个growth function $m_H(N)$来表示。而这个函数有一个Break Point，在这个点$k$开始，$N$大于$k$时的结果会小于$2^N$。下面是几种不同假设空间的growth function：

那么当知道了第一个Break Point $k$之后对$k+1$时的情况进行推导时会发生什么呢？

比如假设当前$N=3$而对应的$k=2$，那么在计算$m_H(N)$过程如下。首先明确，**Break Point $k=2$ 的意思是，对于任意的$k$个样本点，都不能被分成$2^k$种不同的dichotomies。**对应图示如下：

当前的3个样本点被分为了3种不同的dichotomies。而且没有哪两个样本的组合被分配成了