机器学习泛化误差上界补充推导

CSDN博文https://blog.csdn.net/SanyHo/article/details/105569224 已经给出了较为详细的推导过程，这里只给出由Hoeffding不等式退出如下不等式：
$\mathbb{P}(R(f)-\hat{R}(f)\ge ϵ)\le exp(-2N{ϵ}^2)$
的过程。

Hoeffding不等式为
$\mathbb{P}(\mathbb{E}{S}_n-S_n\ge t)\le exp(\frac{-2t^2}{{\sum }_{i=1}^N(b_i-a_i{)}^2})$,
其中$S_n={\sum }_{i=1}^N{Z}_i$ 为$N$个iid随机变量之和。

而$R(f)=\mathbb{E}Loss(X,f(X))$（期望值）, $\hat{R}(f)=\frac{1}{N}{\sum }_{i=1}^{N}Loss(X_i,f(X_i))$（均值）。这里考虑$Z_i=Loss(X_i,f(X_i))$，并且loss的上下限为$0\le Loss(X_i,f(X_i))\le L$，带入Hoeffding不等式，有：

$\mathbb{P}(\frac{1}{N}\mathbb{E}{\sum }_{i=1}^N{Z}_i-\frac{1}{N}{\sum }_{i=1}^N{Z}_i\ge t)=\mathbb{P}(\mathbb{E}{\sum }_{i=1}^N{Z}_i-{\sum }_{i=1}^N{Z}_i\ge Nt)\le exp(\frac{-2N^2{t}^2}{N{L}^2})$

把$t$换成$ϵ$就得到了
$\mathbb{P}(R(f)-\hat{R}(f)\ge ϵ)\le exp(-\frac{2N{ϵ}^2}{L^2})$
或者写成
$R(f)\le \hat{R}(f)+\sqrt{-\frac{L^2\log \gamma }{2N}}$
以概率 $1-\gamma$ 成立。