(斯坦福机器学习笔记)之经验风险最小化

经验风险最小化这节课的内容全是算法，最终推导出了一个可供我们定性分析模型复杂度和所需最少训练样本数的关系的结论。
首先定义$\hat{\epsilon}(h)$定义为m个样本的平均误差,又叫训练误差，即$\hat{\epsilon}(h_{\theta})=\frac{1}{m}\sum\limits_{i=1}^{k}I\{h_{\theta}(x^i)\neq y^i\}$
定义${\epsilon}(h)$为某一个模型分类误差，又叫泛化误差，即${\epsilon}(h)=P_{x,y - D}(h(x)\neq y)$
定义$\hat h$为训练误差最小的模型
定义$\hat \theta$为训练误差最小的模型的参数

==============================hoeffding不等式======================
hoeffding不等式: 令$Z_1,Z_2,...,Z_m$为 m 个独立同分布的服从伯努利分布的变量,且$P(Z _i = 1) = \phi, P(Z_ i = 0) = 1 − \phi$则有

$$P(|\hat \phi-\phi|>\gamma)< 2exp(-2\gamma^2m)$$
此不等式有一个直观的理解：如果把 $\hat\phi$的分布曲线画在二维坐标系中，会得到一个钟形曲线，类似于高斯分布的曲线，其中期望值是 $\phi$，而 $\hat \phi$是实际值。那么 $P(|\hat \phi-\phi|>\gamma)$就表示经过m次实验后得到的 $\hat \phi$，落在曲线中距离期望值 $\phi$——– $\gamma$以外的地方的几率。hoeffding不等式告诉我们这个几率会小于 $2exp(-2\gamma^2m)$。

================================推导一致收敛定理===================================
定义模型集合$H=\{h_1,h_2,\cdots h_k\}$，不同的模型参数$\theta$对应不同的模型，也就是不同的$k$值，K是难以估计的很大的值。

显然，对于任意模型$h_j$，对于任意与训练样本同分布的样本，分类的误差$\epsilon(h_j)$也是服从伯努利分布的。因此有

$$P(|\hat \epsilon(h_j)-\epsilon(h_j)|>\gamma)< 2exp(-2\gamma^2m)$$
该公式说明，只要样本数量m最够多，平均误差 $\hat\epsilon$是一个很小的误差。

下面继续推导。
构造一个式子：$P(\exists h \in H,|\epsilon(h_i)-\hat\epsilon(h_i)|>\gamma)$。该式子的意思是在K个模型：$h_1,h_1,\cdots,h_k$，中至少存在一个满足上式条件，即
$P(|\epsilon(h_1)-\hat\epsilon(h_1)|>\gamma \bigcup |\epsilon(h_2)-\hat\epsilon(h_2)|>\gamma \bigcup \cdots \bigcup |\epsilon(h_k)-\hat\epsilon(h_k)|>\gamma)$
根据联合界定理，上式
$\leq \sum\limits_{i=1}^{k}P(|\hat \epsilon(h_i)-\epsilon(h_i)|>\gamma)$
上面的推导得到的结果，对于任意模型$h_j$都成立，因此
$\sum\limits_{i=1}^{k}P(|\hat \epsilon(h_i)-\epsilon(h_i)|>\gamma)<\sum\limits_{i=1}^{k}2exp(-2\gamma^2m)$
即

$$P(\exists h \in H,|\epsilon(h_i)-\hat\epsilon(h_i)|>\gamma)\leq 2k\ exp(-2\gamma^2m)$$
用1减去上式两边，即对上式两边的事件取1的补集，得到：
$$P(\forall h \in H,|\epsilon(h_j)-\hat \epsilon(h_j)|<\gamma)\geq 1-2k\ exp(-2\gamma^2m)$$
该定理是一致收敛定理，该定理是说至少有 $1-2k\ exp(-2\gamma^2m)$的几率，使得泛化误差和训练误差的距离在 $\gamma$范围内。

===============================继续推导推论====================================
下面继续推导推论
令$\sigma=2k\ exp(-2\gamma^2m)$
固定$\gamma和\sigma$，可以得到$m\geq \frac{1}{2\gamma^2}log\frac{2k}{\sigma}$
即m最小要达到多少，才能保证有$1-\sigma$的几率，使得泛化误差和训练误差的距离在$\gamma$范围内。
可以看到k在log符号内，log函数的增长是很慢的。因此，m的值对k值增长的不敏感的。

固定m和$\sigma$，可以得到$\gamma=\sqrt{\frac{1}{2m}log\frac{2k}{\sigma}}$

========================推导推论========================================
至少有$1-\sigma$的几率，使得：
$\epsilon(\hat h)\leq \hat \epsilon(\hat h)+\gamma$，对于训练的出的最优模型，显然泛化误差比训练误差大，按之前的定义，至多大$\gamma$
定义$h^*$为泛化误差最小的模型
$\hat \epsilon(\hat h) \leq \hat\epsilon(h^*)$，这一步是显然的
$\hat\epsilon(h^*) \leq \epsilon(h^*)+\gamma$，对于泛化最优模型，显然泛化误差比训练误差小，按之前的定义，至多小$\gamma$
因此有至少有$1-\sigma$的几率，使得：

$$\epsilon(\hat h)\leq \epsilon(h^*)+2\gamma$$ 或至少有 $1-\sigma$的几率，使得： $$\epsilon(\hat h)\leq \min\limits_{h \in H}\epsilon(h)+2\sqrt{\frac{1}{2m}log\frac{2k}{\sigma}}$$

上式说明，在训练集中训练出的最好的模型，与对应的测试集的最好的模型的误差差距，最大不超过$2\gamma$。
该定理也反映了方差和偏差之间的关系。当k变大，意味着模型的复杂度增加，此时$2\gamma$会增大，使得泛化误差增大，但另一方面，模型的复杂度增大，会使得$\epsilon(h^*)$有更大的选择空间，使得$\epsilon(h^*)$更小。因此第一项对应着偏差，而第二项对应着方差。两者是此消彼长的关系。