统计学习方法笔记01_泛化误差上界

Hoeffding 不等式

第 2 版，
设 $X_1,X_2,,\cdots ,X_N$ 是独立随机变量，且 $X_i\in [a_i,b_i],i=1,2,\cdots ,N$；$\bar{X}$ 是 $X_1,X_2,,\cdots ,X_N$ 的经验均值，即 $\bar{X}=\frac{1}{N}{\sum }_{i=1}^N{X}_i$，则对任意 $t>0$，以下不等式成立：
$$\begin{gathered} P[\bar{X}-E(\bar{X})\ge t]\le \exp \left(-\frac{2N^2{t}^2}{{\sum }_{i=1}^N(b_i-a_i{)}^2}\right) \\ P[E(\bar{X})-\bar{X}\ge t]\le \exp \left(-\frac{2N^2{t}^2}{{\sum }_{i=1}^N(b_i-a_i{)}^2}\right) \end{gathered}$$

第 1 版，
设 $S_n={\sum }_{i=1}^N{X}_i$ 是独立随机变量 $X_1,X_2,,\cdots ,X_n$ 之和，$X_i\in [a_i,b_i]$，则对任意 $t>0$，以下不等式成立：
$$\begin{gathered} P(S_n-E{S}_n\ge t)\le \exp \left(-\frac{2t^2}{{\sum }_{i=1}^n(b_i-a_i{)}^2}\right) \\ P(E{S}_n-S_n\ge t)\le \exp \left(-\frac{2t^2}{{\sum }_{i=1}^n(b_i-a_i{)}^2}\right) \end{gathered}$$

$S_n={\sum }_{i=1}^n{X}_i$，$E{S}_n=E({\sum }_{i=1}^n{X}_i)$，考虑随机变量序列的均值 ${\bar{X}}_n=\frac{S_n}{n}$ 和随机变量序列均值的期望 $E({\bar{X}}_n)=\frac{E{S}_n}{n}$，看随机变量序列的均值到均值的期望之间的距离 $\ge t$ 的概率是被什么控制住，
$$\begin{array}{rl}P({\bar{X}}_n-E({\bar{X}}_n)\ge t)& =P(S_n-E{S}_n\ge nt)\\ & \le \exp \left(-\frac{2n^2{t}^2}{\sum (b_i-a_i{)}^2}\right)\end{array}$$

当随机变量序列的包含的随机变量个数 n 比较大的时候，分子是 $n^2$ 的阶，分母是 $n$ 项求和，每一项可以看做是一个常数，所以是一个 $n$ 的阶，整个式子就是 $e^{-n}$ 阶，当 $n\to \infty$，整个式子 $\to 0$，即当样本量很大的时候，随机变量序列的均值到均值的期望之间的距离 $\ge t$ 的概率趋于 0。

期望损失与经验损失

损失函数度量模型一次预测的好坏，风险函数度量平均意义下模型预测的好坏。

损失函数（loss function）或代价函数（cost function），度量预测错误的程度，是 $f(X)$ 和 $Y$ 的非负实值函数，记作 $L(Y,f(X))$。

模型的输入、输出 $(X,Y)$ 是随机变量，遵循联合分布 $P(X,Y)$，所以损失函数的期望是
$$\begin{array}{rl}{R}_{exp}(f)& =E_P[L(Y,f(X))]\\ & ={\int }_{\mathcal{X}\times \mathcal{Y}}L(y,f(x))P(x,y)\mathrm{d}x\mathrm{d}y\end{array}$$

这是理论上模型 $f(X)$ 关于联合分布 $P(X,Y)$ 的平均意义下的损失，称为风险函数（risk function）或期望损失（expected loss）。
学习的目标就是选择期望风险最小的模型。由于联合分布 $P(X,Y)$ 是未知的，$R_{exp}$ 不能直接计算。

给定一个训练数据集
T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } T = \{(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)\} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}

模型 $f(X)$ 关于训练数据集的平均损失称为经验风险（empirical risk）或经验损失（empirical loss），记作 $R_{emp}$：
$$R_{emp}(f)=\frac{1}{N}\sum _{i=1}^{N}L(y_i,f(x_i))$$

期望风险 $R_{exp}$ 是模型关于联合分布的期望损失，经验风险 $R_{emp}$ 是模型关于训练样本集的平均损失，根据大数定律，当样本容量 $N$ 趋于无穷时，经验风险 $R_{emp}$ 趋于期望风险 $R_{exp}$。

泛化误差上界证明¹

考虑二类分类问题的泛化误差上界，已知训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } T = \{(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)\} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}， $N$ 是样本容量， $T$ 是从联合概率分布 $P(X,Y)$ 独立同分布产生的，$X\in {\mathbf{R}}^n$， Y ∈ { − 1 , + 1 } Y \in \{-1,+1\} Y∈{−1,+1}。假设空间是函数的有限集合 F = { f 1 , f 2 , ⋯   , f d } \mathcal{F} = \{f_1,f_2,\cdots,f_d\} F={f1​,f2​,⋯,fd​}， $d$ 是函数个数。设 $f$ 是从 $\mathcal{F}$ 中选取的函数，损失是 $0-1$ 损失。关于 $f$ 的期望风险和经验风险分别是
$$\begin{gathered} R(f)=E[L(Y,f(X))] \\ \hat{R}(f)=\frac{1}{N}\sum _{i=1}^{N}L(y_i,f(x_i)) \end{gathered}$$

泛化误差上界的含义，备选模型 f，在训练集上的经验风险，加上一个小的 $\epsilon$ 项，可以控制住它在测试集上的期望风险。

从假设空间中任选一个备选模型 f，它在训练集上的经验风险，就是一个随机变量序列的均值 $\hat{R}(f)$，这个随机变量序列均值的期望 $R(f)$ 就是期望风险，它代表着这个模型在测试集上的表现，代入 Hoeffding 不等式，考虑一个备选模型，
$$P(R(f)-\hat{R}(f)\ge \epsilon )\le \exp (-\frac{-2N^2{\epsilon }^2}{N})=\exp (-2N{ϵ}^2)$$

d 个备选模型，它在训练集上的经验风险和期望风险上的差值都不大，考虑这个事件的对立事件，存在一个备选模型，它使得期望风险与经验风险的距离比较大，
$$\begin{array}{rl}P(\exists f\in \mathcal{F}:R(f)-\hat{R}(f)\ge \epsilon )& =P(R(f_1)-\hat{R}(f_1)\ge \epsilon \bigcup R(f_2)-\hat{R}(f_2)\ge \epsilon \bigcup \cdots \bigcup R(f_d)-\hat{R}(f_d)\ge \epsilon )\\ & \le \sum _{f\in \mathcal{F}}P(R(f)-\hat{R}(f)\ge \epsilon )\\ & \le d\exp (-2N{\epsilon }^2)\end{array}$$

对立事件，
$$P(\forall f\in \mathcal{F}:R(f)-\hat{R}(f)<\epsilon )\ge 1-d\exp (-2N{ϵ}^2)$$

令
$$\delta =d\exp (-2N{\epsilon }^2)$$

则
$$P(R(f)<\hat{R}(f)+\epsilon )\ge 1-\delta$$

即至少以概率 $1-\delta$ 有 $R(f)<\hat{R}(f)+\epsilon$

$\epsilon$的计算，
$$\begin{array}{r}\delta =d\exp (-2N{ϵ}^2)\\ \frac{\delta }{d}=\exp (-2N{ϵ}^2)\\ \frac{d}{\delta }=\exp (2N{ϵ}^2)\\ \log \frac{d}{\delta }=\log \exp (2N{ϵ}^2)\\ \frac{1}{2N}(\log d+\log \frac{1}{\delta })={\epsilon }^2\log e\\ \sqrt{\frac{1}{2N}(\log d+\log \frac{1}{\delta })}=\epsilon \end{array}$$

微信公众号「padluo」，分享数据科学家的自我修养，既然遇见，不如一起成长。关注【数据分析】公众号，后台回复【文章】，获得整理好的【数据分析】文章全集。

参考文档

---

1. 霍夫丁不等式和泛化误差上界 ↩︎