霍夫丁不等式（Hoeffding‘s inequality）

听海边涛声

已于 2023-11-27 10:04:16 修改

阅读量572

点赞数 10

文章标签：算法统计

于 2023-11-27 10:01:45 首次发布

本文链接：https://blog.csdn.net/panghuangang/article/details/134632702

版权

参考资料：Hoeffding's inequality | encyclopedia article by TheFreeDictionary

霍夫丁不等式（Hoeffding's inequality）描述了随机变量的和、与和的期望之差的上限；或者表述为：随机变量的均值、与均值的期望之差的上限。

假设 $X_{1},X_{2},...,X_{n}$ 为各自独立的随机变量，且 $X_{i}$ 限制在 $[0,1]$ 范围内，即 $0\leqslant X_{i}\leqslant 1$ ，定义 $\bar{X}=\frac{1}{n}\sum_{i=1}^{n}X_{i}$ ，则对任意 $\epsilon \geq 0$ ，有

$P((\bar{X}-E(\bar{X}))\geq \epsilon )\leqslant exp(-2n\epsilon ^{2})$ (1)

$P(\left | \bar{X}-E(\bar{X}) \right |\geq \epsilon )\leqslant 2exp(-2n\epsilon ^{2})$ (2)

其中 $E(\bar{X})$ 表示平均值 $\bar{X}$ 的期望。

上面公式推广到更一般的形式：

$X_{i}$ 限制在 $[a_{i},b_{i}]$ 范围内，即 $a_{i}\leqslant X_{i}\leqslant b_{i}$ ，则对任意 $\epsilon > 0$ ，有

$P((\bar{X}-E(\bar{X}))\geq \epsilon )\leqslant exp(-\frac{2n^{2}\epsilon ^{2}}{\sum_{i=1}^{n}(b_{i}-a_{i})^{2}})$ (3)

$P(\left | \bar{X}-E(\bar{X}) \right |\geq \epsilon )\leqslant 2exp(-\frac{2n^{2}\epsilon ^{2}}{\sum_{i=1}^{n}(b_{i}-a_{i})^{2}})$ (4)

上面的公式也可表述为和的形式。

定义 $S_{n}=\sum_{i=1}^{n}X_{i}$

$P((S_{n}-E(S_{n}))\geq \epsilon )\leqslant exp(-\frac{2\epsilon ^{2}}{\sum_{i=1}^{n}(b_{i}-a_{i})^{2}})$ (5)

$P(\left | S_{n}-E(S_{n}) \right |\geq \epsilon )\leqslant 2exp(-\frac{2\epsilon ^{2}}{\sum_{i=1}^{n}(b_{i}-a_{i})^{2}})$ (6)

备注：当 $X_{i}$ 是通过不放回取样得到的，上面的不等式也成立，但此时随机变量不再是独立的。

听海边涛声

关注

10
点赞
踩
7

收藏

觉得还不错? 一键收藏
0
评论
霍夫丁不等式（Hoeffding‘s inequality）

霍夫丁不等式（Hoeffding‘s inequality）
复制链接

扫一扫