【机器学习基石】训练与测试（五）

---

写在前面

本节首先对前面的内容进行了回顾，然后提出两个核心问题，接着讨论了对hypothesis的分类，然后引出了成长函数和break point。

本文整理自台湾大学林轩田的《机器学习基石》

---

1. 回顾和预览（Recap and Preview）

对于机器学习来说，当样本 $M$ 足够多并且 $Hypothesis$ 个数有限时，通过演算法 $A$ 得到的 $g$ 基本上会满足 $E_{out}(g)\approx E_{in}(g)$，此时选择一个较小的 $E_{in}(g)$， 机器学习会有一个好的结果。

$\bullet$ 回顾：对于批量处理样本具有监督式学习的二元分类问题来说（第三节），我们尽量要使 $g\approx f$，此时存在 $E_{out}(g)\approx 0$（第一节），同时使得 $E_{out}(g)\approx E_{in}(g)$（第四节）和 $E_{in}(g)\approx 0$（第二节） 成立。

$\bullet$ 处理两个核心问题：

$▹$ 我们如何确认 $E_{out}(g)$ 和 $E_{in}(g)$ 很接近？

$▹$ 我们如何使得 $E_{in}(g)$ 尽可能的小？

$\bullet$ 样本数量M的两种情况：

$▹$ M比较小时：得到的 $hypothesis$ 比较少，所以得到效果差的 $hypothesis$ 的可能性也比较低；但是同样由于 $hypothesis$ 的选择比较少，不一定能得到效果好的 $hypothesis$。

$▹$ M比较大时：得到的 $hypothesis$ 比较多，所以得到效果差的 $hypothesis$ 的可能性也比较高；但是同样由于 $hypothesis$ 的选择比较多，有很大概率能得到效果好的 $hypothesis$。

$\bullet$ 所以可以看出 M 的数量直接影响两个核心问题的结果 。当 M 无限大时，机器学习似乎已经不可行了，但是在 $PLA$ 存在无数条直线，仍然可以进行很好的学习，后面我们对这一问题进行解释。当我们将无限大的 $M$ 限制在一个有限的$m_H$ 内，问题就可以解决了。

---

2. 有效的直线数（PLA中）

上一节我们讨论过公式为：
$$P(\left|E_{in}(h)-E_{out}(h)\right|＞\epsilon )\le 2M{e}^{-2{\epsilon }^{2}N}$$

当 $M$ 取无限大时，等式右边一定会大于1，此时这个式子就没有了意义。但是在 $PLA$ 中当两条直线很接近时，它们划分的部分其实会有很多的重叠，如果按照上面公式直接相加的话，实际上上界会偏大很多。

所以我们就想着将直线进行分类，将差别不大的直线划分为同一类，然后将重复的部分给去掉的话，实际上上界会得到一个有限的值，从而使机器学习变的可能。

那么具体怎么进行分类呢？我们先从只有第一个点（样本）开始看起：

$\bullet$ 一个点：可以分为两类，它为负类或者正类。

$\bullet$ 两个点：最多可以分为四类，分别为正正、负负、正负、负正。

$\bullet$ 三个点：最多可以分为8类，如下图所示：

但是它不一定会生成8中结果，如果点排列成一条直线的话，最多只能分为6类：

$\bullet$ 四个点：最多可以分成14中情况（当四个点排列围绕成圈时），其他情况下分类会更少。但是类数一定不超过 2^N。

$\bullet$ 结论：当有n个点时，M最多为2^N，实际情况下有效的类数用 $effective(N)$ 来表示，当该数远小于 2^N时，即使 $M$ 趋向无穷大我们也可以认为 $PLA$ 是可行的。（2D perceptrons）

---

3. 有效的假设数

$\bullet$ dichotomy（二分类）：输出一个结果向量表示一个 $dichotomy$，一条直线对应一个 $dichotomy$，但是一个 $dichotomy$ 至少对应一条直线，我们把所有 $dichotomy$ 相同的直线视为一类，它的上界就为 $2^N$。

$\bullet$ 我们以四个点为例，对 $Hypothesis$ 和 $dichotomy$ 进行区分。

\	Hypotheses H	dichotomies H(x1,x2,…xN)
例子	二维平面内的所有直线	{ooxx,ooox,oooo,…}
数量	无数条	上限为2N

$\bullet$ 成长函数（growth function）：$N$ 个点组成的而不同集合中最多有多少种 $dichotomy$，这个值用 $m_H$ 来表示，它的上界为：
$$m_H(N)=\underset{x_1,x_2,...x_N\in X}{\max }\left|H(x_1,x_2,...x_N)\right|$$

$▹$ $PositiveRays：m_H(N)=N+1$

这种情况对应在一维直线坐标系中的点，从一个位置开始进行划分，左边的全为负类，右边的全为正类。

当有 $N$ 个点时，一共有 $N+1$ 个不同的划分位置，所以最终$dichotomy$ 共有 $N+1$ 种。当 $N$ 很大的时候，$(N+1)\ll 2^N$。

$▹$ $PositiveIntervals：m_H(N)=\frac{1}{2}{N}^2+\frac{1}{2}N+1$

这种情况同样对应于一维直线坐标系中的点，选中一个范围，使得范围内的点为正类，其他部分的点为负类。

一共N个点将直线划分为N+1段，首先我们从这N+1个部分随机挑选两个点（不在同一段中）出来，此时一共有 $C_n^2$ 种情况，在加一种两个点在同一边的情况，一共为 $\frac{1}{2}{N}^2+\frac{1}{2}N+1$ 种情况。当N很大的时候，$\frac{1}{2}{N}^2+\frac{1}{2}N+1\ll 2^N$。

$▹$ $ConvexSets：m_H(N)=2^N$

在二维平面内进行点的选取，我们先让 $N$ 个点围成一个圆圈，然后随便选取一些点设置为正类，将这些点连接起来就组成了一个凸多边形，这个范围内的部分为正类，其他部分为负类。

每个点都有两种选择，正类或者负类，所以一共有 $2^N$ 种情况。

---

4. Break Point

$\bullet$ $BreakPoint$ 指的是从 $k$ 开始，就开始满足 $m_H(k)<2^k$ 这个式子。这个 $k$ 我们就叫做 $breakpoint$。

那么对与我们前面提到过的各种 $m_H$ 来说，它们的 $breakpoint$ 是不同的。对于 $positiverays$来说，当 $k=2$ 时就开始满足；对于$positiveintervals$ 来说，当 $k=3$ 时就开始满足；对于$convexsets$ 来说，一直不满足，也就是不存在$breakpoint$；对于$2Dperceptrons$来说，根据本节第二部分的内容，我们可以知道它的 $breakpoint$ 为4。我们似乎可以发现可以通过 $m_H(N)=O(N^{k-1})$ 来对k进行求解，按照这么说的话 $2Dperceptrons$ 的 $m_H$ 结构应该也为多项式，这个放在后面进行证明。