Hoeffding不等式

Hoeffding不等式是关于一组随机变量均值的概率不等式。 如果X1,X2,⋯,Xn为一组独立同分布的参数为p的伯努利分布随机变量，n为随机变量的个数。定义这组随机变量的均值为：

对于任意δ>0, Hoeffding不等式可以表示为

上面的公式似乎写的不是很详细，所以我又从网上copy了一份其他的解释：

Hoeffding不等式：Hoeffding不等式好像有很多个形式，all of statistics里的感觉较难理解，这里写一种好理解的。令 X1,…,Xn 为独立同分布随机变量，满足 ai≤Xi≤bi 。则对于任意 t>0 有

P(X¯−E(X¯)≥t)≤e−2n2t2∑ni=(bi−ai)2P(|X¯−E(X¯)|≥t)≤2e−2n2t2∑ni=(bi−ai)2.

其中， X¯=1n∑ni=1Xi 。

至于这个公式怎么证明，就不要为难自己了~

而这个公式的用途：

在统计推断中，我们可以利用样本的统计量(statistic)来推断总体的参数(parameter)，譬如使用样本均值来估计总体期望。如下图所示，我们从罐子里抽球，希望估计罐子里红球和绿球的比例。

直觉上，如果我们有更多的样本(抽出更多的球)，则样本期望ν应该越来越接近总体期望μ。事实上，这里可以用hoeffding不等式表示如下：

从hoeffding不等式可以看出，当n逐渐变大时，不等式的UpperBound越来越接近0，所以样本期望越来越接近总体期望。