二类分类问题的泛化误差上界的证明

Markov 不等式

对于非负随机变量 $X$ 及 $a>0$，有：
$$P(X\ge a)\le \frac{E[X]}{a}$$

Proof:
$$E[X]={\int }_0^{+\infty }xf(x)dx\ge {\int }_a^{+\infty }af(x)dx=a\cdot P(x\ge a)$$
对于离散情况，把积分变为求和即可。

Hoeffding 不等式

考虑独立随机变量 $X_i\in [a_i,b_i](i=1,2,...,n)$ 的和 $S_n={\sum }_{i=1}^n{X}_i$，则对任意 $s>0$ 有：
$$P(|S_n-E[S_n]|\ge t)\le e^{\frac{-2t^2}{{\sum }_{i=1}^n(b_i-a_i{)}^2}}$$

Proof:

Hoeffding 引理

考虑独立随机变量 $X_i\in [a,b](i=1,2,...,n)$，$E[X]=0$，则对任意 $s>0$ 有：
$$E[e^{sX}]\le e^{\frac{1}{8}{s}^2(b-a{)}^2}$$

Proof:

注意到 $e^{sX}$ 是关于 $X$ 的一个凸函数，则有：
$$e^{sX}\le \frac{b-X}{b-a}{e}^{sa}+\frac{X-a}{b-a}{e}^{sb}$$
对上式两边取期望，结合条件 $E[X]=0$ 有：
$$E[e^{sX}]\le \frac{b-E[X]}{b-a}{e}^{sa}+\frac{E[X]-a}{b-a}{e}^{sb}=\frac{b}{b-a}{e}^{sa}-\frac{a}{b-a}{e}^{sb}$$
令 $\theta =-\frac{a}{b-a}$，$u=s(b-a)$，由于 $E[X]=0$ ，故 $a\le 0\le b$，$\theta \ge 0$，$u\ge 0$，得：
$$\frac{b}{b-a}{e}^{sa}-\frac{a}{b-a}{e}^{sb}$$
$$=-\frac{a}{b-a}{e}^{sa}(e^{s(b-a)}-\frac{b}{a})=-\frac{a}{b-a}{e}^{-s(b-a)\frac{-a}{b-a}}(e^{s(b-a)}-\frac{b-a}{a}-1)$$
$$=\theta e^{-\theta u}(e^u+\frac{1}{\theta }-1)=e^{-\theta u}(\theta e^u+1-\theta )$$
令 $\psi (u)=e^{-\theta u}(\theta e^u+1-\theta )$，由于 $u\ge 0$，故 $\psi (u)>0$。
令 $\varphi (u)=\ln [\psi (u)]=-\theta u+\ln (\theta e^u+1-\theta )$，
根据泰勒公式，$\exists v\in [0,u]$，使得：
$$\varphi (u)=\varphi (0)+u\cdot {\varphi }^{\prime }(0)+\frac{u^2}{2!}\cdot {\varphi }^{\prime \prime }(v)(1)$$
其中：
$${\varphi }^{\prime }(u)=-\theta +\frac{\theta e^u}{\theta e^u+1-\theta }$$
$${\varphi }^{\prime \prime }(u)=\frac{\theta e^u(1-\theta )}{(\theta e^u+1-\theta {)}^2}$$
可得：
$$\varphi (0)=0$$
$${\varphi }^{\prime }(0)=0$$
$${\varphi }^{\prime \prime }(u)=\frac{1}{2+(\frac{\theta }{1-\theta }{e}^u+\frac{1-\theta }{\theta }{e}^{-u})}\le \frac{1}{4}$$
由 (1) 式得：
$$\varphi (u)\le \frac{1}{8}{u}^2=\frac{1}{8}{s}^2(b-a{)}^2$$
故：
$$E[e^{sX}]\le \frac{b}{b-a}{e}^{sa}-\frac{a}{b-a}{e}^{sb}=\psi (u)=e^{\varphi (u)}\le e^{\frac{1}{8}{s}^2(b-a{)}^2}$$
Hoeffding 引理得证。

下面证明 Hoeffding 不等式。

首先证明不等式 $P(S_n-E[S_n]\ge t)\le e^{\frac{-2t^2}{{\sum }_{i=1}^n(b_i-a_i{)}^2}}$。
对于任意 $s>0$，有：
$$P(S_n-E[S_n]\ge t)=P(e^{s(S_n-E[S_n])}\ge e^{st})$$
由于随机变量 $e^{s(S_n-E[S_n])}>0$，则由 Markov 不等式得：
$$P(e^{s(S_n-E[S_n])}\ge e^{st})\le \frac{E[e^{s(S_n-E[S_n])}]}{e^{st}}=e^{-st}\cdot \prod _{i=1}^{n}E[e^{s(X_i-E[X_i])}]$$
对于随机变量 $X_i-E[X_i]$，有 $E[X_i-E[X_i]]=0$，且 $X_i-E[X_i]\in [a_i-E[X_i],b_i-E[X_i]]$。
则由 Hoeffding 引理得：
$$e^{-st}\cdot \prod _{i=1}^{n}E[e^{s(X_i-E[X_i])}]\le e^{-st}\cdot \prod _{i=1}^n{e}^{\frac{s^2(b_i-a_i{)}^2}{8}}=e^{-st+\frac{1}{8}{s}^2{\sum }_{i=1}^n(b_i-a_i{)}^2}$$
令 $g(s)=-st+\frac{1}{8}{s}^2{\sum }_{i=1}^n(b_i-a_i{)}^2$，则：
$$g^{\prime }(s)=-t+\frac{1}{4}s\sum _{i=1}^n(b_i-a_i{)}^2$$
求解 $g^{\prime }(s)=0$，得：
$$s=\frac{4t}{{\sum }_{i=1}^n(b_i-a_i{)}^2}$$
故：
$$P(S_n-E[S_n]\ge t)\le e^{\frac{-2t^2}{{\sum }_{i=1}^n(b_i-a_i{)}^2}}$$
不等式 $P(E[S_n]-S_n\ge t)\le e^{\frac{-2t^2}{{\sum }_{i=1}^n(b_i-a_i{)}^2}}$ 的证明同理。

Hoeffding 不等式得证。

二类分类问题的泛化误差上界

定理：

对二类分类问题，当假设空间是有限个函数的集合 F = { f 1 , f 1 , . . . , f d } F = \{f_{1}, f_{1}, ..., f_{d}\} F={f1​,f1​,...,fd​} 时，对任意一个函数 $f\in F$，至少以概率 $1-\delta$，以下不等式成立：
$$R(f)\le \hat{R}(f)+\epsilon (d,N,\delta )(2)$$
其中，不等式左侧 $R(f)$ 为泛化误差：
$$R(f)=E[L(Y,f(X))]$$
不等式右侧即为泛化误差的上界：
$$\hat{R}(f)=\frac{1}{N}\sum _{i=1}^{N}L(y_i,f(x_i))$$
$$\epsilon (d,N,\delta )=\sqrt{\frac{1}{2N}(\ln d+\ln \frac{1}{\delta })}(3)$$
在泛化误差上界中，第1项是训练误差；
第2项 $\epsilon (d,N,\delta )$ 是 $N$ 的单调递减函数，当 $N\to +\infty$ 时趋于 $0$；同时它也是 $\sqrt{\ln d}$ 阶的函数，假设空间 $F$ 包含的函数越多，其值越大。

Proof:

对任意函数 $f\in F$，$\hat{R}(f)$ 是 $N$ 个独立的随机变量 $L(Y,f(X))的样本均值，$R(f)$ 是随机变量 $L(Y,f(X))$ 的期望值，则：
$$P(R(f)-\hat{R}(f)\ge \epsilon )=P(N\cdot R(f)-N\cdot \hat{R}(f)\ge N\cdot \epsilon )$$
$$=P(N\cdot E[L(Y,f(X))]-\sum _{i=1}^{N}L(y_i-f(x_i))\ge N\cdot \epsilon )$$
令 $S_n={\sum }_{i=1}^{N}L(y_i,f(x_i))$，则：
$$E[S_n]=E[\sum _{i=1}^{N}L(y_i,f(x_i))]=N\cdot E[L(Y,f(X)]$$
如果损失函数取值于区间 $[0,1]$，即对所有 $i$，$[a_i,b_i]=[0,1]$，则由 Hoeffding 不等式可知，对任意 $\epsilon >0$，以下不等式成立：
$$P(N\cdot E[L(Y,f(X))]-\sum _{i=1}^{N}L(y_i-f(x_i))\ge N\cdot \epsilon )$$
$$=P(E[S_n]-S_n\ge N\cdot \epsilon )\le e^{\frac{-2(N{\epsilon }^2)}{N(1-0{)}^2}}=e^{-2N{\epsilon }^2}$$
由于 F = { f 1 , f 1 , . . . , f d } F = \{f_{1}, f_{1}, ..., f_{d}\} F={f1​,f1​,...,fd​} 是一个有限集合，故：
P ( ∃ f ∈ F :   R ( f ) − R ^ ( f ) ≥ ε ) = P ( ⋃ f ∈ F { R ( f ) − R ^ ( f ) ≥ ε } ) P(\exists f \in F: \, R(f) - \hat R(f) \geq \varepsilon) = P(\bigcup_{f \in F} \{ R(f) - \hat R(f) \geq \varepsilon \}) P(∃f∈F:R(f)−R^(f)≥ε)=P(f∈F⋃​{R(f)−R^(f)≥ε})
$$\le \sum _{f\in F}P(R(f)-\hat{R}(f)\ge \epsilon )\le d\cdot e^{-2N{\epsilon }^2}$$
或者，等价的，$\forall f\in F$，有：
$$P(R(f)-\hat{R}(f)<\epsilon )\ge 1-d\cdot e^{-2N{\epsilon }^2}$$
令：
$$\delta =d\cdot e^{-2N{\epsilon }^2}(4)$$
可得：
$$P(R(f)<\hat{R}(f)+\epsilon )\ge 1-\delta$$
即：至少以概率 $1-\delta$，有 $R(f)<\hat{R}(f)+\epsilon$，其中 $\epsilon$ 由式 (4) 得到，即为式 (3)。
故不等式 (2) 得证，即定理得证。

参考文献

李航【统计学习方法】第一版，1.6.2