主要参考视频:王木头学科学
写不下去了,直接用演草纸吧
辛钦大数定律
我们通过机器学习想根据数据Xi及其标签yi学得数据的分布|映射函数,即
G
(
x
)
=
y
G\left( x \right) =y
G(x)=y
我们学习大量数据的目的就是尽可能地逼近这个G(x),那么通过大量数据学得的函数就一定逼近G(x)数据的真实规律了吗,有什么理论支撑吗?
支撑这个的基石就是辛钦大数定律。
设X1,X2,…Xn,…是相互独立的随机变量序列,服从相同分布,且具有有限的数学期望u,则有
lim n → ∞ P { ∣ 1 n X i − u ∣ < ε } = 1 , 任意 ε > 0 \lim_{n\rightarrow \infty} P\{|\frac{1}{n}X_i-u|<\varepsilon \}=1 , \text{任意}\varepsilon >0 n→∞limP{∣n1Xi−u∣<ε}=1,任意ε>0
辛钦大数定律从理论上指出:用算术平均值来近似实际真值是合理的。而在数理统计中,这一定律使得用算术平均值来估计数学期望有了理论依据。
但是,我们没办法直接利用这个公式,因为我们做不到和公式中一样有无穷个xi,所以我们还需要更进一步的公式
霍夫丁不等式
可以看到图中的霍夫丁不等式中已经没有无穷的情况了,原先的N趋于无穷变成了现在的常数N。可以先这样理解,u是数据的真实规律,而v是我们学习的结果,如果v满足这个公式,那么就意味着我们学习结果与u的偏差超过过
ε
\varepsilon
ε的概率不会超过一个与N有关的值,这就给我们衡量通过数据进行学习带来了理论基础。
这里我们可以这样理解Ein和Eout。
真实数据规律是
G
(
x
)
=
y
G\left( x \right) =y
G(x)=y,我们选择的模型是h(x),我们就是要衡量h(x)与G(x)的差别。其中Ein代表了N个训练数据中h(x)≠G(x)的均值,Eout代表了利用模型h(x)比较所有(无穷)数据h(x)≠G(x)的均值。(因此当h选择合适时,且利用无穷个数据,根据辛钦大数定律我们就知道h(x)逼近G(x),此时根据公式Eout=0)
下面具体看一看最后一个公式的具体求解。
写不下去了
草稿笔记