泛化误差上界

---

1. 损失函数与风险函数

机器学习中，需要通过损失函数来度量模型一次预测的好坏，通常用$L(Y,f(x))$来表示，常见的损失函数有：

• 0-1损失函数（指示函数）
  $$L(Y,f(X))=\{\begin{array}{ll}1,& Y\ne f(X)\\ 0,& Y=f(X)\end{array}$$
• 平方损失函数
  $$L(Y,f(X))=(Y-f(X){)}^2$$
• 绝对值损失函数
  $$L(Y,f(X))=|Y-f(X)|$$
• 对数似然损失函数
  $$L(Y,P(Y|X))=-lnP(Y|X)$$

风险函数则是损失函数的平均：
若是在训练样本集上的平均，则称为经验风险或经验损失（Empirical Risk/Loss），记作$R_{emp}(f)$。给定训练集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , … , ( x N , y N ) } T=\lbrace(x_1,y_1),(x_2,y_2),\dots,(x_N,y_N)\rbrace T={(x1​,y1​),(x2​,y2​),…,(xN​,yN​)}，则：
$$R_{emp}(f)=\frac{1}{N}\sum _{i=1}^{N}L(y_i,f(x_i))$$
若是在样本空间上的期望，则为期望风险或期望损失（Expected Risk/Loss），记作$R_{exp}(f)$。模型的输入、输出$(X,Y)$是随机变量，遵循联合分布$P(X,Y)$，则：
$$\begin{array}{rl}{R}_{exp}(f)& =E_P[L(Y,f(X))]\\ & ={\int }_{X\times Y}L(y,f(x))P(x,y)\mathrm{d}x\mathrm{d}y\end{array}$$
模型训练的终极目的是为了降低期望风险。但由于联合分布$P(X,Y)$是未知的，所以期望风险只存在理论意义。
根据大数定律，当样本容量$N$趋于无穷时，经验风险趋于期望风险。因此，在实际训练时，我们可以用经验风险去近似期望风险。针对样本容量大小，存在两种训练策略：经验风险最小策略和结构风险最小策略。
当样本容量足够大时，经验风险最小策略就能保证较好的训练效果，即：
$$\underset{f\in F}{\min }{R}_{emp}(f)$$
如果训练样本有限，经验风险最小策略就会产生“过拟合”，可在经验风险的基础上增加表示模型复杂度的正则化项（罚项），即结构风险最小策略（Structural Risk Minimization, SRM）:
$$\underset{f\in F}{\min }{R}_{srm}(f)=\underset{f\in F}{\min }[R_{emp}(f)+\lambda J(f)]$$
其中，$J(f)$表示模型复杂度，是定义在假设空间$F$上的泛函，$f$越复杂，$J(f)$越大，比如在多项式函数空间，多项式系数的平方和可作为度量函数复杂度的指标。$\lambda \ge 0$是正则化系数，用于权衡经验风险和模型复杂度。
正则化方法符合奥卡姆剃刀原理：在所有可能的模型中，能够很好解释已有数据，且最简单的模型才是最好的模型。这样的模型泛化能力强。

2. 泛化能力与泛化误差上界

泛化能力是指模型对未知数据的预测能力，可以通过泛化误差来度量。泛化误差即期望误差，由于其只存在理论意义，我们只能从理论上寻找泛化误差的概率上界。
首先我们可以有一个定性的认识：样本越多，泛化上界越小；假设空间越大，泛化上界越大；当样本容量趋近于无穷时，泛化上界趋于0。因此，泛化误差上界应该是一个与样本容量、假设空间容量有关的函数。
我们通过一个最简单的二分类问题来研究泛化误差上界的证明方法。
给定训练集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , … , ( x N , y N ) } T=\lbrace(x_1,y_1),(x_2,y_2), \dots,(x_N,y_N) \rbrace T={(x1​,y1​),(x2​,y2​),…,(xN​,yN​)}，$N$为样本容量，$X\in {\mathrm{R}}^n$， Y ∈ { − 1 , + 1 } Y \in \lbrace -1,+1\rbrace Y∈{−1,+1}。假设空间为有限函数集合 F ∈ { f 1 , f 2 , … , f d } F\in \lbrace f_1,f_2,\dots,f_d \rbrace F∈{f1​,f2​,…,fd​}，$d$是假设空间容量。损失函数为0-1损失。有如下关于泛化误差上界的定理：

对任意$f\in F$，以下不等式至少以概率$1-\delta ,0<\delta <1$成立：
$$R_{exp}(f)\le R_{emp}(f)+ϵ(d,N,\delta )$$
其中，$ϵ(d,N,\delta )=\sqrt{\frac{1}{2N}(\mathrm{l}\mathrm{n}d+\mathrm{l}\mathrm{n}\frac{1}{\delta })}$

该不等式左侧即为泛化误差；右侧为泛化误差上界，由经验误差$R_{emp}$和$ϵ(d,N,\delta )$两部分组成，$ϵ(d,N,\delta )$的单调性与我们的定性认识一致：样本容量$N$越大，$ϵ$越小，且$ϵ$与$\sqrt{\mathrm{l}\mathrm{n}d}$同阶。
该定理的证明需要用到马尔可夫不等式和霍夫丁（Hoeffding）不等式，霍夫丁不等式的证明又需要用到霍夫丁引理。下面依次进行证明。

3. 相关证明

3.1 马尔可夫不等式

马尔可夫不等式把概率关联到数学期望，给出了随机变量的分布函数的一个上界。

若随机变量$X\ge 0$，且$E(X)$存在，则有：
$$P(X\ge ϵ)\le \frac{E(X)}{ϵ},ϵ>0$$

证明：
$$\begin{array}{rl}P(X\ge ϵ)& ={\int }_{X\ge ϵ}p(x)dx\\ & \le {\int }_{X\ge ϵ}\frac{x}{ϵ}p(x)dx\\ & =\frac{1}{ϵ}{\int }_{X\ge ϵ}xp(x)dx\\ & \le \frac{1}{ϵ}{\int }_{-\infty }^{+\infty }xp(x)dx\\ & =\frac{E(X)}{ϵ}\end{array}$$
马尔可夫不等式可以用来估计尾部事件的概率上界，例如：$X$表示工资，$E(X)$为平均工资，设$ϵ=nE(X)$表示平均工资的$n$倍。根据马尔可夫不等式，工资超过平均工资$n$倍的概率不超过$\frac{1}{n}$。
切比雪夫不等式是马尔可夫不等式的特殊情况，其不限定随机变量的范围，应用更广泛。

若随机变量$X$的期望和方差都存在，分别为$E(X)$和$D(X)$，则有：
P { ∣ X − E ( X ) ∣ ≥ ϵ } ≤ D ( X ) ϵ 2 , ϵ > 0 P\lbrace|X-E(X)|\geq \epsilon \rbrace\leq \frac{D(X)}{\epsilon ^2}, \quad \epsilon >0 P{∣X−E(X)∣≥ϵ}≤ϵ2D(X)​,ϵ>0

证明：
P { ∣ X − E ( X ) ∣ ≥ ϵ } = P { ∣ X − E ( X ) ∣ 2 ≥ ϵ 2 } ≤ E { ∣ X − E ( X ) ∣ 2 } ϵ 2 = D ( X ) ϵ 2 \begin{aligned} P \lbrace \left| X-E(X) \right| \geq \epsilon \rbrace &= P \lbrace \left| X-E(X) \right| ^2 \geq \epsilon ^2 \rbrace \\ & \leq \frac{E \lbrace \left| X-E(X) \right| ^2 \rbrace}{\epsilon ^2} \\ &= \frac{D(X)}{\epsilon ^2} \end{aligned} P{∣X−E(X)∣≥ϵ}​=P{∣X−E(X)∣2≥ϵ2}≤ϵ2E{∣X−E(X)∣2}​=ϵ2D(X)​​
切比雪夫不等式描述了这样一个事实：偏离均值越大，概率越小，事件大多会集中在均值附近。

3.2 霍夫丁引理

对于随机变量$X$，$a\le X\le b$，且$E(X)=0$，则对于$\forall \lambda \in R$：
$$E[e^{\lambda X}]\le e^{\frac{{\lambda }^2(b-a{)}^2}{8}}$$

证明：
霍夫丁引理的证明主要是使用了下凸函数的性质。对于凸函数$f(x)$，有：
$$f(x)\le f(a)+\frac{f(b)-f(a)}{b-a}(x-a),a\le x\le b$$
$f(X)=e^{\lambda X}$为下凸函数，代入上式：
$$\begin{array}{rl}{e}^{\lambda X}& \le e^{\lambda a}+\frac{e^{\lambda b}-e^{\lambda a}}{b-a}(X-a)\\ & =\frac{b-X}{b-a}{e}^{\lambda a}+\frac{X-a}{b-a}{e}^{\lambda b},\forall X\in [a,b]\end{array}$$
其中，$X$为取值于$[a,b]$的随机变量，且$E(X)=0$，对上式两边同时求期望：
$$\begin{array}{rl}E(e^{\lambda X})& \le \frac{b-E(X)}{b-a}{e}^{\lambda a}+\frac{E(X)-a}{b-a}{e}^{\lambda b}\\ & =\frac{b}{b-a}{e}^{\lambda a}+\frac{-a}{b-a}{e}^{\lambda b}\\ & =\frac{-a}{b-a}{e}^{\lambda a}(-\frac{b}{a}+e^{\lambda (b-a)})\end{array}$$
令$q=\frac{-a}{b-a}$，$h=\lambda (b-a)$，上式可变形为：
$$\begin{array}{rl}E(e^{\lambda X})& \le q{e}^{-qh}(\frac{1}{q}-1+e^h)\\ & =e^{-qh}(1-q+q{e}^h)\\ & =e^{-qh+\ln (1-q+q{e}^h)}\end{array}$$
令$L(h)=-qh+ln(1-q+q{e}^h)$，上式可变形为：
$$E(e^{\lambda X})\le e^{L(h)}$$
对于$L(h)$在0处进行泰勒展开：
$$L(h)=L(0)+L^{\prime }(0)h+\frac{L^{\prime \prime }(h)}{2}{h}^2$$
其中，
$$\begin{array}{rl}L(h){|}_{h=0}& =0\\ L^{\prime }(h){|}_{h=0}& =-q+\frac{q{e}^h}{1-q+q{e}^h}\\ & =0\\ L^{\prime \prime }(h)& =\frac{q{e}^h(1-q+q{e}^h)-(q{e}^h{)}^2}{(1-q+q{e}^h{)}^2}\\ & =\frac{q{e}^h}{1-q+q{e}^h}-(\frac{q{e}^h}{1-q+q{e}^h}{)}^2\\ & \le \frac{1}{4}\end{array}$$
代入上式，可得：
$$L(h)\le \frac{h^2}{8}=\frac{{\lambda }^2(b-a{)}^2}{8}$$
进而有：
$$E(e^{\lambda X})\le e^{\frac{{\lambda }^2(b-a{)}^2}{8}}$$

3.3 霍夫丁不等式

设$X_1,X_2,\cdots ,X_N$是独立随机变量，且$X_i\in [a_i,b_i],i=1,2,\cdots ,N$；$\overline{X}=\frac{1}{N}{\sum }_{i=1}^N{X}_i$，对任意$t>0$，以下不等式成立：
$$\begin{array}{rl}P[\overline{X}-E(\overline{X})\ge t]& =P[E(\overline{X})-\overline{X}\ge t]\\ & =e^{-\frac{2N^2{t}^2}{{\sum }_{i=1}^N(b_i-a_i{)}^2}}\end{array}$$

证明：
$$\begin{array}{rl}P[\overline{X}-E[\overline{X}]\ge t]& =P[e^{\lambda (\overline{X}-E[\overline{X}])}\ge e^{\lambda t}]\\ & \le \frac{E[e^{\lambda (\overline{X}-E[\overline{X}])}]}{e^{\lambda t}}\text{马尔科夫不等式}\\ & =e^{-\lambda t}E[e^{\lambda (\frac{1}{N}{\sum }_{i=1}^N(X_i)-E[\frac{1}{N}{\sum }_{i=1}^N(X_i)])}]\\ & =e^{-\lambda t}E[e^{\frac{\lambda }{N}{\sum }_{i=1}^N(X_i-E[X_i])}]\\ & =e^{-\lambda t}E[\prod _{i=1}^N{e}^{\frac{\lambda }{N}(X_i-E[X_i])}]\\ & =e^{-\lambda t}\prod _{i=1}^{N}E[e^{\frac{\lambda }{N}(X_i-E[X_i])}]\end{array}$$
由于$a_i\le X_i-E[X_i]\le b_i$，且$E[X_i-E[X_i]]=0$，由霍夫丁引理可知：
$$E[e^{\frac{\lambda }{N}(X_i-E[X_i])}]\le e^{\frac{{\lambda }^2(b_i-a_i{)}^2}{8N^2}}$$
代入上式有：
$$\begin{array}{rl}P\left[\overline{X}-E\left[\overline{X}\right]\ge t\right]& \le e^{-\lambda t}\prod _{i=1}^N{e}^{\frac{{\lambda }^2(b_i-a_i{)}^2}{8N^2}}\\ & =e^{-\lambda t+\frac{{\lambda }^2}{8N^2}{\sum }_{i=1}^N(b_i-a_i{)}^2}\end{array}$$
令$g(\lambda )=-\lambda t+\frac{{\lambda }^2}{8N^2}{\sum }_{i=1}^N(b_i-a_i{)}^2$，为了得到一个最好的概率上界，可求$g(\lambda )$最小值：
$$g(\lambda ){|}_{\lambda =\frac{4N^{2}t}{{\sum }_{i=1}^N(b_i-a_i{)}^2}}=-\frac{2N^2{t}^2}{{\sum }_{i=1}^N(b_i-a_i{)}^2}$$
从而有：
$$P[\overline{X}-E[\overline{X}]\ge t]\le e^{-\frac{2N^2{t}^2}{{\sum }_{i=1}^N(b_i-a_i{)}^2}}$$
同理可得：
$$P[E[\overline{X}]-\overline{X}\ge t]\le e^{-\frac{2N^2{t}^2}{{\sum }_{i=1}^N(b_i-a_i{)}^2}}$$
命题得证。

3.4 假设空间有限的二分类问题的泛化误差上界

给定训练集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , … , ( x N , y N ) } T=\lbrace (x_1,y_1),(x_2,y_2), \dots,(x_N,y_N) \rbrace T={(x1​,y1​),(x2​,y2​),…,(xN​,yN​)}，$N$为样本容量，$X\in {\mathrm{R}}^n$， Y ∈ { − 1 , + 1 } Y \in \lbrace -1,+1\rbrace Y∈{−1,+1}。假设空间为有限函数集合 F ∈ { f 1 , f 2 , … , f d } F\in \lbrace f_1,f_2,\dots,f_d \rbrace F∈{f1​,f2​,…,fd​}，$d$是假设空间容量。损失函数为0-1损失。其泛化误差上界满足如下定理：

对任意$f\in F$，以下不等式至少以概率$1-\delta ,0<\delta <1$成立：
$$R_{exp}(f)\le R_{emp}(f)+ϵ(d,N,\delta )$$
其中，$ϵ(d,N,\delta )=\sqrt{\frac{1}{2N}(\mathrm{l}\mathrm{n}d+\mathrm{l}\mathrm{n}\frac{1}{\delta })}$

证明：
损失函数为0-1损失，因此损失函数的取值区间为$[0,1]$，从而对任意$f_i\in F,R_{emp}(f_i)\in [0,1]$，由霍夫丁不等式可知：
$$P(R_{exp}(f)-R_{emp}(f)\ge ϵ)\le e^{-2N^2{ϵ}^2}$$
由于假设空间$F$是一个有限集合，因此：
P ( ∃ f ∈ F : R e x p ( f ) − R e m p ( f ) ≥ ϵ ) = P ( ⋃ f ∈ F { R e x p ( f ) − R e m p ( f ) ≥ ϵ } ) ≤ ∑ f ∈ F P ( R e x p ( f ) − R e m p ( f ) ≥ ϵ ) ≤ d e − 2 N ϵ 2 \begin{aligned} P\left(\exists f\in F:R_{exp}(f)-R_{emp}(f)\geq\epsilon\right)&=P\left(\bigcup_{f\in F}\lbrace R_{exp}(f)-R_{emp}(f)\geq\epsilon\rbrace\right)\\ &\leq\sum_{f\in F}{P(R_{exp}(f)-R_{emp}(f)\geq\epsilon)}\\ &\leq de^{-2N\epsilon^2} \end{aligned} P(∃f∈F:Rexp​(f)−Remp​(f)≥ϵ)​=P⎝⎛​f∈F⋃​{Rexp​(f)−Remp​(f)≥ϵ}⎠⎞​≤f∈F∑​P(Rexp​(f)−Remp​(f)≥ϵ)≤de−2Nϵ2​
等价于：
$$P\left(\forall f\in F:R_{exp}(f)-R_{emp}(f)<ϵ\right)\ge 1-d{e}^{-2N{ϵ}^2}$$
令$\delta =d{e}^{-2N{ϵ}^2}$，则：
$$P\left(\forall f\in F:R_{exp}(f)<R_{emp}(f)+ϵ\right)\ge 1-\delta$$
即至少以概率$1-\delta$有$R_{exp}(f)<R_{emp}(f)+ϵ$，其中$ϵ=\sqrt{\frac{1}{2N}(\mathrm{l}\mathrm{n}d+\mathrm{l}\mathrm{n}\frac{1}{\delta })}$。
命题得证。