霍夫丁不等式及其他相关不等式证明
周志华老师的书和台大的基石课程都用到了霍夫丁不等式,其常见形式如下: 随 机 变 量 x i , x i ∈ { 0 , 1 } , x ‾ = 1 n ( x 1 + x 2 + ⋅ ⋅ ⋅ + x n ) 随机变量x_i,x_i\in \{0,1\}, \overline x=\frac1n(x_1+x_2+···+x_n) 随机变量xi,xi∈{
0,1},x=n1(x1+x2+⋅⋅⋅+xn)
则 有 P ( ( x ‾ − E [ x ‾ ] ) ≥ t ) ≤ e − 2 n t 2 则有P((\overline x-E[\overline x])\geq t)\leq e^{-2nt^2} 则有P((x−E[x])≥t)≤e−2nt2
含义: 给出二项分布均值偏离期望的概率上限.(上限与偏离值和次数有关)置信区间.
先证霍夫丁不等式的一般形式
霍夫丁一般形式
若: x i 相 互 独 立 , 且 x i ∈ [ a i , b i ] , S n = x 1 + x 2 + ⋅ ⋅ ⋅ + x n x_i相互独立,且x_i\in [a_i,b_i],S_n=x_1+x_2+···+x_n xi相互独立,且xi∈[ai,bi],Sn=x1+x2+⋅⋅⋅+xn
则有: P ( S n − E [ S n ] ≥ t ) ≤ e x p ( − 2 t 2 ∑ 1 n ( b i − a i ) 2 ) P(S_n-E[S_n]\geq t)\leq exp(-\frac {2t^2}{\sum_{1}^n{(b_i-a_i)^2}}) P(Sn−E[Sn]≥t)≤exp(−∑1n(bi−ai)22t2)
证明过程要用到霍夫丁引理和马尔科夫不等式
马尔科夫不等式
马尔科夫不等式非常好证明,其形式如下
若 a > 0 , x 为 非 负 随 机 变 量 , 则 P ( x ≥ a ) ≤ E [ x ] a 若a>0,x为非负随机变量,则P(x\geq a)\leq \frac {E[x ]}{a} 若a>0,x为非负随机变量,则P(x≥a)≤aE[x]
证明:
得证.
(1)式中 x ≥ a , 缩 放 成 a ; x ≥ 0 , 缩 放 成 0 x\geq a,缩放成a;x\geq0,缩放成0 x≥a,缩放成a;x≥0,缩放</
最低0.47元/天 解锁文章
795
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
