这篇博客详细介绍了概率论中的几个重要不等式，包括Markov不等式、Chebyshev不等式和Chernoff Bound。通过举例和数学推导，阐述了它们的应用及其在概率计算中的价值，特别是Chernoff Bound的证明和其作为概率近似的有效性。
UA MATH564 概率论 概率不等式
Markov不等式
假设 g g g是一个取值为正的函数，定义
m B = inf { g ( t ) : t ∈ B } m_B = \inf\{g(t):t \in B\} mB=inf{
g(t):t∈B}
从而
E g ( X ) ≥ E [ g ( X ) I B ( X ) ] ≥ E [ m B I B ( X ) ] = m B P ( X ∈ B ) Eg(X) \ge E[g(X)I_B(X)] \ge E[m_B I_B(X)] = m_B P(X \in B) Eg(X)≥E[g(X)IB(X)]≥E[mBIB(X)]=mBP(X∈B)
如果 g g g是单调递增的函数， B = [ x , + ∞ ) B = [x,+\infty) B=[x,+∞)，则上式可以写成
E g ( X ) ≥ g ( x ) P ( X > x ) ⇒ P ( X > x ) ≤ E [ g ( X ) ] g ( x ) Eg(X) \ge g(x) P(X >x) \Rightarrow P(X >x ) \le \frac{E[g(X)]}{g(x)} Eg(X)≥g(x)P(X>x)⇒P(X>x)≤g(x)E[g(X)]
这个不等式被称为Markov不等式。
Chebyshev不等式
在Markov不等式中，假设 X = ∣ Y − E Y ∣ X = |Y-EY| X=∣Y−EY∣， g ( x ) = x 2 g(x)=x^2 g(x)=x2，则
P ( ∣ Y − E Y ∣ > x ) ≤ V a r Y x 2 , ∀ x > 0 P(|Y-EY|>x) \le \frac{VarY}{x^2},\forall x>0 P(∣Y−EY∣>x)≤x2VarY,∀x>0
这个不等式叫Chebyshev不等式。
Chernoff Bound
为了介绍Chernoff Bound，这里先简单介绍一下Legendre变换。
Legendre变换
首先需要了解的是Legendre变换和Fourier、Lagrange变换不一样，它不是积分变换，它是实数和实值凸函数的对合变换。对合很好理解，从逻辑上解释就是双重否定表肯定，从函数上来看就是 f ( f ( x ) ) = x f(f(x))=x f(f(x))=x，满足条件的这种 f f f就叫对合变换。
假设 f : D ⊂ R n → R f:D \subset \mathbb{R}^n \to \mathbb{R} f:D⊂Rn→R是凸函数，它的Legendre变换是 f ∗ : D ∗ ⊂ R n → R f^*:D^*\subset \mathbb{R}^n \to \mathbb{R} f∗:D∗⊂R
最低0.47元/天 解锁文章
扫一扫
7852
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
