Feasibility of Learning
Learning is Impossible
- 由于真实的模式 f f f是未知的,我们很难最终确定 g g g是否真的很拟合,甚至可能永远得不到“正确的”答案(控制因素太多)
- 学习的目的是预测既有数据集以外的内容,如果任何一种可能的假设都能够你和数据集以外的结果,那么相当于“没有学到东西”
Probability to the Rescue
- 对于推断在数据集之外的未知目标 f f f,是非常困难的
- 一种可行思路:样本抽取估计(罐子里拿弹珠模型)
- 对于实际比率
μ
\mu
μ和样本结果比例
ν
\nu
ν:
- 在取足够大的样本量 N N N时,二者相差很小: P [ ∣ ν − μ ∣ > ϵ ] ≤ 2 exp ( − 2 ϵ 2 N ) \mathbb{P} [|\nu - \mu| \gt \epsilon] \le 2 \exp(-2\epsilon^2N) P[∣ν−μ∣>ϵ]≤2exp(−2ϵ2N)(Hoffding不等式)
- 二者可能(大概率)近似(存在一个ε)相等(probably approximately correct, PAC)
- 对任意的 N N N和 ϵ \epsilon ϵ是有效的
- 因为右侧结果无 μ \mu μ,因此不需要知道真实比例(以及概率)
- 如果样本量足够大,我们可以大概率认为可以由 ν \nu ν推论到 μ \mu μ
Connection to Learning
- 类比于从罐子里面拿弹珠
- 对于一个数据集合(对样本空间的抽样) D \mathcal D D,如果样本空间够大,且每一个样本都是独立同分布的,那么我们可以通过在样本集合上的 h h h之表现 [ h ( x n ) ≠ y n ] [h(\bold x_n) \ne y_n] [h(xn)=yn]估计 h h h在整个样本空间的表现,即与 f f f的差距 [ h ( x ) ≠ f ( x ) ] [h(\bold x) \ne f(\bold x)] [h(x)=f(x)]
- 估计假设的效果,对固定的假设 h h h,在数据足够大时, E i n − s a m p l e ( h ) ≈ E o u t − o f − s a m p l e ( h ) E_{in-sample}(h) \approx E_{out-of-sample}(h) Ein−sample(h)≈Eout−of−sample(h)
Connection to Learning
- 根据Hoffding不等式,坏样本,当前假设下 E i n E_{in} Ein和 E o u t E_{out} Eout相差很远,且面临多个选择时,会恶化这种情形
- 坏的数据样本集
- 对于选择 g g g会产生不好的影响
- 可能存在 E i n E_{in} Ein和 E o u t E_{out} Eout相差甚远的情形
- 根据Hoffding不等式,如果有
M
M
M个假设可供选择,那么从样本空间中遇到坏数据的概率上界为
2
M
exp
(
−
2
ϵ
2
N
)
2M\exp(-2\epsilon^2N)
2Mexp(−2ϵ2N)
- 只要选择有限,对任意的 M M M, N N N, ϵ \epsilon ϵ都有效
- 我们控制 M M M有限, N N N足够大,可以保证PAC(可以选择一个 E i n E_{in} Ein较小的假设作为最终结果 g g g)