Machine Learning Course-CS 156 笔记 2

Lecture 2 : Is Learning Feasible?

视频地址：https://www.youtube.com/watch?v=MEG35RDD7RA

---

一个相关实验

• 一个容器里有红球和绿球
  $$P[抓到红球]=\mu$$
  $$P[抓到绿球]=1-\mu$$
• $\mu$的值是未知的
• 独立取出$N$个球
• 样本中红球的比例：$\nu$

Possibility vs Probability

$N$很大时 , $|\nu-\mu|\le\epsilon$
应有:

$$P[|\nu-\mu|>\epsilon]\le 2e^{-2{\epsilon}^2N}$$
即Hoeffding不等式

• 
  
• 对所有$N$和 $\epsilon$有效
• 边界不取决于 $\mu$
• $N$ 、$\epsilon$ 和 边界 的权衡
• $\nu\approx\mu\Longrightarrow\mu\approx\nu$
  

P.A.C : Probaly , Approximately , Correct

---

与学习的联系

容器里：未知的是 $\mu$
学习里：未知的是函数 $f: X \rightarrow Y$

每个球都是 $X$中的一个点 $x$

绿球代表假设正确：$h(x)=f(x)$
红球代表假设错误：$h(x)\neq f(x)$

$\mu$ 和 $\nu$ 都依赖假设 $h$
——$\nu$ is ‘in sample’ donated by $E_{in}$
——$\mu$ is ‘out of sample’ donated by $E_{out}$

Hoeffding不等式改写为：

$$P[|E_{in}(h)-E_{out}(h)|>\epsilon]\le 2e^{-2{\epsilon}^2N}$$

---

问题和解决

但是仍然不能应用到多次实验上。

• 1枚硬币扔10次，10次全正的概率：0.1%
• 1000枚硬币各扔10次，有一些得到10次全正的概率：63%

设 $g$ 为最终假设：

$$P[|E_{in}(g)-E_{out}(g)|>\epsilon]\le \sum_{m=1}^{M}P[|E_{in}(h_m)-E_{out}(h_m)|>\epsilon]$$

可写为：

$$P[|E_{in}(g)-E_{out}(g)|>\epsilon]\le 2Me^{-2{\epsilon}^2N}$$