UA MATH564 概率论 概率不等式
Markov不等式
假设 g g g是一个取值为正的函数,定义
m B = inf { g ( t ) : t ∈ B } m_B = \inf\{g(t):t \in B\} mB=inf{
g(t):t∈B}
从而
E g ( X ) ≥ E [ g ( X ) I B ( X ) ] ≥ E [ m B I B ( X ) ] = m B P ( X ∈ B ) Eg(X) \ge E[g(X)I_B(X)] \ge E[m_B I_B(X)] = m_B P(X \in B) Eg(X)≥E[g(X)IB(X)]≥E[mBIB(X)]=mBP(X∈B)
如果 g g g是单调递增的函数, B = [ x , + ∞ ) B = [x,+\infty) B=[x,+∞),则上式可以写成
E g ( X ) ≥ g ( x ) P ( X > x ) ⇒ P ( X > x ) ≤ E [ g ( X ) ] g ( x ) Eg(X) \ge g(x) P(X >x) \Rightarrow P(X >x ) \le \frac{E[g(X)]}{g(x)} Eg(X)≥g(x)P(X>x)⇒P(X>x)≤g(x)E[g(X)]
这个不等式被称为Markov不等式。
Chebyshev不等式
在Markov不等式中,假设 X = ∣ Y − E Y ∣ X = |Y-EY| X=∣Y−EY∣, g ( x ) = x 2 g(x)=x^2 g(x)=x2,则
P ( ∣ Y − E Y ∣ > x ) ≤ V a r Y x 2 , ∀ x > 0 P(|Y-EY|>x) \le \frac{VarY}{x^2},\forall x>0 P(∣Y−EY∣>x)≤x2VarY,∀x>0
这个不等式叫Chebyshev不等式。
Chernoff Bound
为了介绍Chernoff Bound,这里先简单介绍一下Legendre变换。
Legendre变换
首先需要了解的是Legendre变换和Fourier、Lagrange变换不一样,它不是积分变换,它是实数和实值凸函数的对合变换。对合很好理解,从逻辑上解释就是双重否定表肯定,从函数上来看就是 f ( f ( x ) ) = x f(f(x))=x f(f(x))=x,满足条件的这种 f f f就叫对合变换。
假设 f : D ⊂ R n → R f:D \subset \mathbb{R}^n \to \mathbb{R} f:D⊂Rn→R是凸函数,它的Legendre变换是 f ∗ : D ∗ ⊂ R n → R f^*:D^*\subset \mathbb{R}^n \to \mathbb{R} f∗:D∗⊂R