Feasibility of Learning
Learning is Impossible
- 由于真实的模式 f f f是未知的，我们很难最终确定 g g g是否真的很拟合，甚至可能永远得不到“正确的”答案（控制因素太多）
- 学习的目的是预测既有数据集以外的内容，如果任何一种可能的假设都能够你和数据集以外的结果，那么相当于“没有学到东西”
Probability to the Rescue
- 对于推断在数据集之外的未知目标 f f f，是非常困难的
- 一种可行思路：样本抽取估计（罐子里拿弹珠模型）
- 对于实际比率
μ
\mu
μ和样本结果比例
ν
\nu
ν：
- 在取足够大的样本量 N N N时，二者相差很小： P [ ∣ ν − μ ∣ > ϵ ] ≤ 2 exp ( − 2 ϵ 2 N ) \mathbb{P} [|\nu - \mu| \gt \epsilon] \le 2 \exp(-2\epsilon^2N) P[∣ν−μ∣>ϵ]≤2exp(−2ϵ2N)（Hoffding不等式）
- 二者可能（大概率）近似（存在一个ε）相等（probably approximately correct, PAC）
- 对任意的 N N N和 ϵ \epsilon ϵ是有效的
- 因为右侧结果无 μ \mu μ，因此不需要知道真实比例（以及概率）
- 如果样本量足够大，我们可以大概率认为可以由 ν \nu ν推论到 μ \mu μ
Connection to Learning
- 类比于从罐子里面拿弹珠
- 对于一个数据集合（对样本空间的抽样） D \mathcal D D，如果样本空间够大，且每一个样本都是独立同分布的，那么我们可以通过在样本集合上的 h h h之表现 [ h ( x n ) ≠ y n ] [h(\bold x_n) \ne y_n] [h(xn)=yn]估计 h h h在整个样本空间的表现，即与 f f f的差距 [ h ( x ) ≠ f ( x ) ] [h(\bold x) \ne f(\bold x)] [h(x)=f(x)]
- 估计假设的效果，对固定的假设 h h h，在数据足够大时， E i n − s a m p l e ( h ) ≈ E o u t − o f − s a m p l e ( h ) E_{in-sample}(h) \approx E_{out-of-sample}(h) Ein−sample(h)≈Eout−of−sample(h)
Connection to Learning
- 根据Hoffding不等式，坏样本，当前假设下 E i n E_{in} Ein和 E o u t E_{out} Eout相差很远，且面临多个选择时，会恶化这种情形
- 坏的数据样本集
- 对于选择 g g g会产生不好的影响
- 可能存在 E i n E_{in} Ein和 E o u t E_{out} Eout相差甚远的情形
- 根据Hoffding不等式，如果有
M
M
M个假设可供选择，那么从样本空间中遇到坏数据的概率上界为
2
M
exp
(
−
2
ϵ
2
N
)
2M\exp(-2\epsilon^2N)
2Mexp(−2ϵ2N)
- 只要选择有限，对任意的 M M M， N N N， ϵ \epsilon ϵ都有效
- 我们控制 M M M有限， N N N足够大，可以保证PAC（可以选择一个 E i n E_{in} Ein较小的假设作为最终结果 g g g）
363
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
