泛化误差上界的证明【内含霍夫丁不等式（Hoeffding‘s Inequality）的证明】

本篇博客旨在补充李航老师在《统计学习方法》第一章中关于Hoeffding’s Inequality的证明，明白了它 的由来才能对泛化误差上界有更深刻的认识。

温馨提示：最好在电脑端阅读，因为手机屏幕太小，所书写的公式无法施展才华。但是如果可以容忍一丢丢瑕疵的话，也可以在手机上阅读。

先导内容

一、 泛化能力（generalization ability）

  泛化能力表示学习方法学习到的模型对未知数据的预测能力。

二、 泛化误差（generalization error）

  泛化误差表示用学习到的模型对未知数据进行预测的误差，定义如下：（假设学到的模型为$\hat{f}$，L为损失函数）
$$\begin{array}{rl}{R}_{exp}(\hat{f})& =E_p[L(Y,\hat{f}(X)]\\ & ={\int }_{X\times Y}L(y,\hat{f}(x))P(x,y)dxdy\end{array}$$ 泛化误差也就是所学模型的误差期望值（即期望风险），反映了学习方法的泛化能力。

三、泛化误差上界（generalization error bound）

 对于泛化能力的分析通常是根据泛化误差上界来确定的，因为它代表的是泛化能力的下界，也就是所谓的保底值，如果保底值能够提升，那么模型的整体泛化能力就能够得到提升。
（注意：因为泛化误差定义式中的损失函数所求得的值为负数，所以它必定存在一个上界）

 泛化误差上界的定义如下：对于二类分类问题，当假设空间是有限个函数的集合 F = { f 1 , f 2 , . . . , f d } \mathcal{F}=\{f_1,f_2,...,f_d\} F={f1​,f2​,...,fd​} 时，对任意一个函数 $f\in \mathcal{F}$，至少以概率 $1-\delta (0<\delta <1)$，使得以下不等式成立：
$$R(f)\le \hat{R}(f)+\epsilon (d,N,\delta )$$
其中，
$$\epsilon (d,N,\delta )=\sqrt{\frac{1}{2N}(logd+log\frac{1}{\delta })}$$
 不等式中左侧的 $R(f)$ 是泛化误差，右侧的即是泛化误差上界，其中的 $\hat{R}(f)$ 是训练过程中的误差，而 $\epsilon (d,N,\delta )$ 相当于一个纠正量，是 $N$ 的单调递减函数，当 $N$ 趋近无穷时趋向 0，同时它也是 $logd$ 阶的函数，假设空间包含的函数越多时，$d$ 的值越大，即它的值也越大。
 值得注意的是，该不等式是根据霍夫丁不等式推导而来，但是霍夫丁不等式同样需要证明是正确的才能进行使用。

重点来了！霍夫丁不等式的证明

 霍夫丁不等式的证明遵循下图中的证明过程，需要先证明马尔可夫不等式、切比雪夫不等式、切诺夫界和霍夫丁引理，才能够对霍夫丁不等式进行证明。

一、Markov’s Inequality（马尔可夫不等式）

• 定理：设 $Z\ge 0$ 为一个非负的随机变量，对任意的 $t>0$ ，有：
  $$P(Z\ge t)\le \frac{E(Z)}{t}$$
• 证明如下:
  P ( Z ≥ t ) = E [ 1 { Z ≥ t } ] ≤ E [ Z t 1 { Z ≥ t } ] ≤ E ( Z ) t P(Z \ge t) = E[1_{\{Z \ge t\}} ]\le E[\frac{Z}{t}1_{\{Z \ge t\}} ] \le \frac{E(Z)}{t} P(Z≥t)=E[1{Z≥t}​]≤E[tZ​1{Z≥t}​]≤tE(Z)​

注意： 1 { Z ≥ t } 1_{\{Z \ge t\}} 1{Z≥t}​ 表示的是事件 $Z\ge t$ 发生的时候为 $1$，否则为 $0$。所以当随机情况下， 1 { Z ≥ t } ≤ 1 1_{\{Z \ge t\}} \le 1 1{Z≥t}​≤1。

二、Chebyshev’s Inequality（切比雪夫不等式）

• 定理：设 $Z$ 是一个属于 $R$ 集合的随机变量，且均值为 $\mu$，方差为 ${\sigma }^2$，有：
  $$P(|Z-\mu |\ge \sigma t)\le \frac{1}{t^2}$$

• 证明如下：

$$\begin{array}{rl}P(|Z-\mu |\ge \sigma t)& =P[(Z-\mu {)}^2\ge {\sigma }^2{t}^2]\\ & \le \frac{E[(Z-\mu {)}^2]}{{\sigma }^2{t}^2}=\frac{{\sigma }^2}{{\sigma }^2{t}^2}=\frac{1}{t^2}\end{array}$$
注意：红色部分使用的是马尔可夫不等式 $!$

三、Chernoff’s bound（切诺夫界）

• 设 $Z$ 是一个属于 $R$ 集合的随机变量，任意的 $t>0$ ，有：
  $$P(Z\ge t)\le e^{-st}{M}_Z(s)(s>0)$$
• 证明如下：对任意的 $s>0$，
  $$\begin{array}{rl}P(Z\ge t)& =P(sZ\ge st)\\ & =P(e^{sZ}\ge e^{st})\\ & \le \frac{E(e^{sZ})}{e^{st}}=\frac{M_Z(s)}{e^{st}}\end{array}$$

注意：红色部分使用的是马尔可夫不等式 $!$

补充内容： $M_Z(s)$ 表示的是矩量母函数（moment-generating function），当满足特定条件时，$E(e^{sZ})=M_Z(s)$ 。

四、Hoeffding’s lemma（霍夫丁引理）

• 定理：设随机变量 $Z\in [a,b]$，对任意的 $\lambda \in R$，有：（这里使用 $exp(x)$ 代替 $e^x$）
  $$E[exp(\lambda (Z-E(Z)))]\le exp(\frac{{\lambda }^2(b-a{)}^2}{8})$$

• 证明：为了使推导过程更加简洁，令$E(Z)=0$，如果取其他值也并不影响结果，即有：
  $$E[exp(\lambda (Z-E(Z)))]=E[exp(\lambda Z)]\text{\hspace{1em}(1)}$$
  1. 设 $Z=\alpha b+(1-\alpha )a$，其中 $\alpha =\frac{Z-a}{b-a},1-\alpha =\frac{b-Z}{b-a}$，令 $g(Z)=exp(\lambda Z)$，因为 $g(Z)$ 是一个凹函数，所以可以得到：
  $$\begin{array}{rl}g(Z)& =g[\alpha b+(1-\alpha )a]\\ & \le \alpha g(b)+(1-\alpha )g(a)\\ & =\frac{Z-a}{b-a}g(b)+\frac{b-Z}{b-a}g(a)\\ & =\frac{Z-a}{b-a}exp(\lambda b)+\frac{b-Z}{b-a}exp(\lambda a)\end{array}$$
  即得： $$g(Z)\le \frac{Z-a}{b-a}exp(\lambda b)+\frac{b-Z}{b-a}exp(\lambda a)\text{\hspace{1em}(2)}$$
  (事实上，在国外的论述中，我们所谓的凹函数是他们的凸函数，它们是根据凹凸性的性质来进行判断，而我们是根据直观的感觉，这一点可以参考百度函数的凹凸性)
  
  
  2、对不等式(2)两边取期望得：
  $$\begin{array}{rl}E[exp(\lambda Z)]& \le E[\frac{Z-a}{b-a}exp(\lambda b)+\frac{b-Z}{b-a}exp(\lambda a)]\\ & =E[\frac{Z}{b-a}(exp(\lambda b)-exp(\lambda a))]+\\ & E[\frac{b}{b-a}exp(\lambda a)-\frac{a}{b-a}exp(\lambda b)]\end{array}$$
  即得：
  $$\begin{array}{rl}E[exp(\lambda Z)]& \le E[\frac{Z}{b-a}(exp(\lambda b)-exp(\lambda a))]+\\ & E[\frac{b}{b-a}exp(\lambda a)-\frac{a}{b-a}exp(\lambda b)]\end{array}\text{\hspace{1em}(3)}$$
  3、又因为 $E(Z)=0$，所以得：
  $$E[exp(\lambda Z)]\le E[\frac{b}{b-a}exp(\lambda a)-\frac{a}{b-a}exp(\lambda b)]\text{\hspace{1em}(4)}$$
  4、令 $\gamma =-\frac{a}{b-a}$，则有 $1-\gamma =\frac{b}{b-a}$，即不等式(3)中可以化简为：
  $$\begin{array}{rl}E[exp(\lambda Z)]& \le E[(1-\gamma )exp(\lambda a)+\gamma \exp (\lambda b)]\\ & =(1-\gamma )exp(\lambda a)+\gamma \exp (\lambda b)\end{array}$$
  即得：
  $$E[exp(\lambda Z)]\le (1-\gamma )exp(\lambda a)+\gamma exp(\lambda b)\text{\hspace{1em}(5)}$$
  5、令 $\mu =\lambda (b-a)$，则有 $\lambda a=-\mu \gamma$， 即不等式(4)可以化简为：
  $$\begin{array}{rl}E[exp(\lambda Z)]& \le (1-\gamma )exp(\lambda a)+\gamma exp(\lambda a)\frac{exp(\lambda b)}{exp(\lambda a)}\\ & =exp(\lambda a)[(1-\gamma )+\gamma \frac{exp(\lambda b)}{exp(\lambda a)}]\\ & =exp(-\mu \gamma )(1-\gamma +\gamma exp(\mu ))\end{array}$$
  即得：
  $$E[exp(\lambda Z)]\le exp(-\mu \gamma )(1-\gamma +\gamma exp(\mu ))\text{\hspace{1em}(6)}$$
  6、令 $f(\mu )=log[exp(-\mu \gamma )(1-\gamma +\gamma exp(\mu ))]$，即对应有：$E[exp(\lambda Z)]\le exp[f(\mu )]$，由 $f(\mu )$ 求导得：
  $$\{\begin{array}{l}{f}^{\prime }(\mu )=-\gamma +\frac{\gamma exp(\mu )}{1-\gamma +\gamma exp(\mu )}\\ \\ f^{\prime \prime }(\mu )=\frac{\gamma (1-\gamma )exp(\mu )}{(1-\gamma +\gamma exp(\mu ){)}^2}\end{array}$$
  7、根据泰勒定理（Taylor’s Theorem），存在一个 $\xi \in (0,\mu )$，使得：$f(\mu )=f(0)+\mu f^{\prime }(0)+\frac{{\mu }^2}{2}{f}^{\prime \prime }(\xi )$ 成立，由上可知，$f(0)=0,f^{\prime }(0)=0$，即 $$f(\mu )=\frac{{\mu }^2}{2}{f}^{\prime \prime }(\xi )$$令 $t=\frac{\gamma exp(\mu )}{1-\gamma +\gamma exp(\mu )}$，所以有 $f^{\prime \prime }(\xi )=t(1-t)\le \frac{1}{4}$，即得：$$f(\mu )\le \frac{{\mu }^2}{8}=\frac{{\lambda }^2(b-a{)}^2}{8}\text{\hspace{1em}(7)}$$
  8、由不等式(6)和(7)以及 $f(\mu )$ 的定义可得：
  $$E[exp(\lambda Z)]\le exp(\frac{{\lambda }^2(b-a{)}^2}{8})\text{\hspace{1em}(8)}$$
  综上所述可得：$E[exp(\lambda (Z-E(Z)))]\le exp(\frac{{\lambda }^2(b-a{)}^2}{8})$

到此霍夫丁引理证毕！

五、Hoeffding’s Inequality（霍夫丁不等式）

• 定理：设有 $N$ 个随机变量 $Z_i$，都有 $Z_i\in [a,b]$，且其中 $-\infty <a\le b<\infty$，$t>0$，既有：
  $$P(\frac{1}{N}\sum _{i=1}^N(Z_i-E(Z_i))\ge t)\le exp(-\frac{2N{t}^2}{(b-a{)}^2})$$
• 证明如下：
  1、由 $P(\frac{1}{N}{\sum }_{i=1}^N(Z_i-E(Z_i))$ 可得：$$\begin{array}{rl}P(\frac{1}{N}\sum _{i=1}^N(Z_i-E(Z_i))\ge t)& =P(\sum _{i=1}^N(Z_i-E(Z_i)\ge Nt)\\ & \le \frac{E[e^{s{\sum }_{i=1}^N(Z_i-E(Z_i)}]}{e^{sNt}}\\ & =\frac{{\prod }_{i=1}^{N}E[e^{s(Z_i-E(Z_i))}]}{e^{sNt}}\end{array}$$
  注意：红色部分使用的是切诺夫界，其中的 $s>0$ $!$
  即得：
  $$P(\frac{1}{N}\sum _{i=1}^N(Z_i-E(Z_i))\le \frac{{\prod }_{i=1}^{N}E[e^{s(Z_i-E(Z_i))}]}{e^{sNt}}\text{\hspace{1em}(9)}$$
  2、不等式(9)通过霍夫丁引理可化简得：（这里使用 $exp(x)$ 代替 $e^x$）
  $$\begin{array}{rl}P(\frac{1}{N}\sum _{i=1}^N(Z_i-E(Z_i))\ge t)& \le \frac{{\prod }_{i=1}^{N}E[exp[s(Z_i-E(Z_i))]]}{exp(sNt)}\\ & \le \frac{{\prod }_{i=1}^{N}exp(\frac{s^2(b-a{)}^2}{8})}{exp(sNt)}\\ & =exp[\frac{N{s}^2(b-a{)}^2}{8}-sNt]\end{array}$$即得：
  $$P(\frac{1}{N}\sum _{i=1}^N(Z_i-E(Z_i))\ge t)\le exp[\frac{N{s}^2(b-a{)}^2}{8}-sNt]\text{\hspace{1em}(10)}$$
  3、令 $h(s)=\frac{N{s}^2(b-a{)}^2}{8}-sNt$，可以看出它是一个关于 $s$ 的二次函数，且 $s>0$，因为对称轴：$\hat{s}=\frac{4t}{(b-a{)}^2}>0$，所以函数 $h(s)$ 的最小值在对称轴上，即有：
  $$mi{n}_{s>0}exp[\frac{N{s}^2(b-a{)}^2}{8}-sNt]=exp(-\frac{2N{t}^2}{(b-a{)}^2})$$
  因为要保证不等式(10)恒成立，所以它必须小于函数 $h(s)$ 的最小值，即得：
  $$P(\frac{1}{N}\sum _{i=1}^N(Z_i-E(Z_i))\ge t)\le exp(-\frac{2N{t}^2}{(b-a{)}^2})\text{\hspace{1em}(11)}$$

到此霍夫丁不等式证毕！

紧接着对泛化误差上界进行证明

一、首先我们引入霍夫丁不等式定理

 设有 $N$ 个独立随机变量 $X_i$，都有 $X_i\in [a_i,b_i](i=1,2,...,N)$，且其中 $-\infty <a_i\le b_i<\infty ，$$\overline{X}$ 是 $X_1,X_2,...,X_N$ 的实际均值（经验均值），即$\overline{X}=\frac{1}{N}{\sum }_{i=1}^N{X}_i$。
 则对任意的 $t>0$，以下不等式成立：
$$\{\begin{array}{l}P((\overline{X}-E(\overline{X}))\ge t)\le exp[-\frac{2N^2{t}^2}{{\sum }_{i=1}^N(b_i-a_i{)}^2}]\\ \\ P((E(\overline{X})-\overline{X})\ge t)\le exp[-\frac{2N^2{t}^2}{{\sum }_{i=1}^N(b_i-a_i{)}^2}]\end{array}$$

 以上是霍夫丁不等式的变体，根据原不等式进行了调整（移项），这里用来推导泛化误差上界。

二、然后进入到泛化误差的场景中

 1、对任意函数 $f\in \mathcal{F}$，$\hat{R}(f)$ 是 $N$ 个独立的随机变量 $L(Y,f(X))$ 的样本均值，$R(f)$ 是随机变量 $L(Y,f(X))$ 的期望值。如果损失函数取值于 $[0,1]$，即对所有的 $i,[a_i,b_i]=[0,1]$，那么由以上不等式可知，对任意的 $\epsilon >0$，以下不等式成立：
$$P(R(f)-\hat{R}(f)\ge \epsilon )\le exp(-2N{\epsilon }^2)\text{\hspace{1em}(12)}$$
$$\{\begin{array}{l}期望风险：R(f)=E[L(Y,f(X))]\\ \\ 经验风险：\hat{R}(f)=\frac{1}{N}{\sum }_{i=1}^{N}L(y_i,f(x_i))\end{array}$$
 2、由于 F = { f 1 , f 2 , . . . , f d } \mathcal{F}=\{f_1,f_2,...,f_d\} F={f1​,f2​,...,fd​} 是一个有限集合，故：
P (   ∃ f ∈ F : R ( f ) − R ^ ( f ) ≥ ε   ) = P (   ⋃ f ∈ F { R ( f ) − R ^ ( f ) ≥ ε   } ) ≤   ∑ f ∈ F P ( R ( f ) − R ^ ( f ) ≥ ε   ) ≤ d   e x p ( − 2 N ε 2   ) \begin{aligned} P(\ \exists f \in \mathcal{F}: R(f)-\widehat{R}(f)\ge \varepsilon\ ) &= P(\ \bigcup_{f\in \mathcal{F}} \{R(f)-\widehat{R}(f)\ge \varepsilon\ \}) \\ & \le\ \sum_{f\in \mathcal{F}}P(R(f)-\widehat{R}(f)\ge \varepsilon\ )\\ & \le d\ exp( -2N\varepsilon^2\ ) \end{aligned} P( ∃f∈F:R(f)−R (f)≥ε )​=P( f∈F⋃​{R(f)−R (f)≥ε })≤ f∈F∑​P(R(f)−R (f)≥ε )≤d exp(−2Nε2 )​
 3、等价的，对于任意的 $f\in \mathcal{F}$，有：
$$P(R(f)-\hat{R}(f)<\epsilon )\ge 1-dexp(-2N{\epsilon }^2)\text{\hspace{1em}(13)}$$
 4、令 $\delta =dexp(-2N{\epsilon }^2)$，即有 $\epsilon =\sqrt{\frac{1}{2N}(logd+log\frac{1}{\delta })}$，则：
$$P(R(f)-\hat{R}(f)<\epsilon )\ge 1-\delta \text{\hspace{1em}(14)}$$
 5、即根据不等式(14)可以得知，至少以 $1-\delta$ 的概率可以确定： $$R(f)-\hat{R}(f)<\epsilon \text{\hspace{1em}(15)}$$
 6、但是我们关心的是泛化能力最差的那一个函数，即泛化误差最小的函数，这样获取的泛化误差上界才更具有普遍性，令经验风险最小化函数为： $f_N=argmi{n}_{f\in \mathcal{F}}\hat{R}(f)$ ，即得：
$$R(f_N)=E[L(Y,f_N(X))]\text{\hspace{1em}(16)}$$

 综上所述，泛化误差上界为：
$$R(f_N)-\hat{R}(f_N)<\epsilon (d,N,\delta )$$

到此泛化误差上界证毕！

霍夫丁不等式推导的论文链接：03_hoeffding.pdf

如有错误，还请指正！