Machine Learning Course-CS 156 笔记 5

Lecture 5 : Training versus Testing

视频地址：https://www.youtube.com/watch?v=SEYAnnLazMU

---

测试与训练

用期末考试举例。
测试：

$$\mathbb{P}[|E_{in}-E_{out}|>\epsilon]\le 2e^{-2{\epsilon}^2N}$$
训练：
$$\mathbb{P}[|E_{in}-E_{out}|>\epsilon]\le 2Me^{-2{\epsilon}^2N}$$

$M$ 从哪里来？
不好的事件 $\mathcal{B}_m$ 是 ’ $|E_{in}-E_{out}|>\epsilon$ ‘

联合边界：

$$\mathbb{P}[\mathcal{B}_1\cup\mathcal{B}_2\cup\cdots \cup\mathcal{B}_M]\le\mathbb{P}[\mathcal{B}_1]+\mathbb{P}[\mathcal{B}_2]+\cdots+\mathbb{P}[\mathcal{B}_M]$$
可以在 $M$ 上进行改进吗？
不好的事件非常重叠。

蓝线和绿线是两个分界面。
$$\Delta E_{out}:+1和-1区域的改变\\ \Delta E_{in}:数据点标签的改变\\ |E_{in}(h_1)-E_{out}(h_1)|\approx|E_{in}(h_2)-E_{out}(h_2)|$$
替代 $M$
用输入点的有限集合来替代所有的输入空间，并且计算二分法(假设)的数量

二分法：微型假设
一个假设 $h:\mathcal{X}\rightarrow\{-1,+1\}$
一个二分 $h:\{\textbf{x}_1,\textbf{x}_2,\cdots,\textbf{x}_N\}\rightarrow\{-1,+1\}$

假设集 $|\mathcal{H}|$ 的数量无限的。
二分集合 $|\mathcal{H}(\textbf{x}_1,\textbf{x}_2,\cdots,\textbf{x}_N)|$ 的数量最多为 $2^N$

The growth function
计算了 $N$点上最多的二分集

$$m_\mathcal{H}(N)=\max_{\textbf{x}_1,\cdots,\textbf{x}_N\in\mathcal{X}}|\mathcal{H}(\textbf{x}_1,\cdots,\textbf{x}_N)|$$
growth function满足 : $m_\mathcal{H}(N)\le 2^N$

• $m_\mathcal{H}(3)=8$
• $m_\mathcal{H}(4)=14$ (当+1点在对角线上时无法分割)

---

examples

1.射线

$$\mathcal{H}是h:\mathbb{R}\rightarrow\{-1,+1\}的集合\\ h(x)=sign(x-a)\\ m_\mathcal{H}(N)=N+1$$

2.区间

$$\mathcal{H}是h:\mathbb{R}\rightarrow\{-1,+1\}的集合\\ m_\mathcal{H}(N)=C_{N+1}^2+1=\frac{1}{2}N^2+\frac{1}{2}N+1$$

3.凸集

$$\mathcal{H}是h:\mathbb{R}^2\rightarrow\{-1,+1\}的集合\\ m_\mathcal{H}(N)=2^N$$
根据下图理解：

$N$ 个点被凸集“shatter”了

当 $m_\mathcal{H}(N)$ 替代 $M$时会怎样？
只需证明 $m_\mathcal{H}(N)$ 是多项式

---

break point

定义： 如果没有大小为 $k$ 的数据集可以被 $\mathcal{H}$ ‘shatter’,那么 $k$就是 $\mathcal{H}$ 的一个break point

对于2维的感知机，break point是 $k=4$

继续前面的例子：

• 对于射线 $m_\mathcal{H}(N)=N+1$ , break point 是 $k=2$
• 对于区间 $m_\mathcal{H}(N)=\frac{1}{2}N^2+\frac{1}{2}N+1$ , break point 是 $k=3$
• 对于凸集 $m_\mathcal{H}(N)=2^N$ , break point 是 $k=\infty$

---

结论

没有break point $\Longrightarrow m_\mathcal{H}(N)=2^N$
有break point $\Longrightarrow m_\mathcal{H}(N)$ 是 N N <script type="math/tex" id="MathJax-Element-40">N</script> 的多项式