机器学习中VC界和VC维草稿笔记

主要参考视频：王木头学科学
写不下去了，直接用演草纸吧

辛钦大数定律

我们通过机器学习想根据数据Xi及其标签yi学得数据的分布|映射函数，即
$$G\left(x\right)=y$$
我们学习大量数据的目的就是尽可能地逼近这个G(x),那么通过大量数据学得的函数就一定逼近G(x)数据的真实规律了吗，有什么理论支撑吗？
支撑这个的基石就是辛钦大数定律。

设X1,X2,…Xn,…是相互独立的随机变量序列，服从相同分布，且具有有限的数学期望u,则有

lim ⁡ n → ∞ P { ∣ 1 n X i − u ∣ < ε } = 1 , 任意 ε > 0 \lim_{n\rightarrow \infty} P\{|\frac{1}{n}X_i-u|<\varepsilon \}=1 , \text{任意}\varepsilon >0 n→∞lim​P{∣n1​Xi​−u∣<ε}=1,任意ε>0

辛钦大数定律从理论上指出：用算术平均值来近似实际真值是合理的。而在数理统计中，这一定律使得用算术平均值来估计数学期望有了理论依据。

但是，我们没办法直接利用这个公式，因为我们做不到和公式中一样有无穷个xi，所以我们还需要更进一步的公式

霍夫丁不等式

可以看到图中的霍夫丁不等式中已经没有无穷的情况了，原先的N趋于无穷变成了现在的常数N。可以先这样理解，u是数据的真实规律，而v是我们学习的结果，如果v满足这个公式，那么就意味着我们学习结果与u的偏差超过过$\epsilon$的概率不会超过一个与N有关的值，这就给我们衡量通过数据进行学习带来了理论基础。

这里我们可以这样理解Ein和Eout。

真实数据规律是$G\left(x\right)=y$，我们选择的模型是h(x),我们就是要衡量h(x)与G(x)的差别。其中Ein代表了N个训练数据中h(x)≠G(x)的均值，Eout代表了利用模型h(x)比较所有(无穷)数据h(x)≠G(x)的均值。(因此当h选择合适时，且利用无穷个数据，根据辛钦大数定律我们就知道h(x)逼近G(x)，此时根据公式Eout=0)

下面具体看一看最后一个公式的具体求解。
写不下去了

草稿笔记