霍夫丁不等式是描述:一组相互独立并且有界的变量偏离其均值的和大于一定值的概率具有一个上界。
该不等式最初是研究二项分布的性质。
假设有一组相互独立的随机变量 X 1 , X 2 , … , X n X_1, X_2, \dots, X_n X1,X2,…,Xn,每个随机变量的波动区间为 [ a i , b i ] [a_i, b_i] [ai,bi], i = 1 , 2 , … , n i=1, 2,\dots,n i=1,2,…,n。令 X ‾ = 1 n ( X 1 + X 2 + ⋯ + X n ) \overline{X}=\frac{1}{n}(X_1+X_2+\dots+X_n) X=n1(X1+X2+⋯+Xn),则对于 t > 0 t>0 t>0,有以下不等式:
Pr { ∑ i = 1 n ( X i − E ( X i ) ) ≥ t N } ≤ exp { − 2 n 2 t 2 ∑ i = 1 n ( b i − a i ) 2 } \Pr\left\{\sum_{i=1}^n(X_i-\mathbb{E}(X_i))\geq tN\right\}\leq \exp\left\{-\frac{2n^2t^2}{\sum_{i=1}^n(b_i-a_i)^2}\right\} Pr{i=1∑n(Xi−E(Xi))≥tN}≤exp{−∑i=1n(bi−ai)22n2t2}
该不等式似乎与著名的切比雪夫不等式有点相似:
Pr { ∣ X − μ ∣ ≥ ϵ } ≤ σ 2 ϵ 2 \Pr\{|X-\mu|\geq\epsilon\}\leq \frac{\sigma^2}{\epsilon^2} Pr{∣X−μ∣≥ϵ}≤ϵ2σ2