Markov’s inequality(马尔可夫不等式)
定义
X
X
X是非负的随机变量,对于固定的
a
>
0
a>0
a>0,那么都有
P
(
X
≥
a
)
≤
E
[
X
]
a
P(X\geq a) \leq \frac{E[X]}{a}
P(X≥a)≤aE[X]
证明
假设随机变量
Y
Y
Y有两个取值:0、
a
a
a
Y
=
{
a
,
X
≥
a
0
,
X
≤
a
Y= \begin{cases} a, & \text{$X \geq a$} \\ 0, & \text{$ X \leq a$} \\ \end{cases}
Y={a,0,X≥aX≤a
从上述表达式中可以看出,
X
≥
Y
X \geq Y
X≥Y始终成立,由此推出
E
[
X
]
≥
E
[
Y
]
E[X] \geq E[Y]
E[X]≥E[Y]
同样类似的公式还有:若
f
(
x
)
≥
g
(
x
)
f(x) \geq g(x)
f(x)≥g(x),那么
∫
f
(
x
)
d
x
≥
∫
g
(
x
)
d
x
\int f(x)dx \geq \int g(x)dx
∫f(x)dx≥∫g(x)dx
接下来按照离散随机变量的期望公式
E
[
Y
]
=
∑
1
n
y
n
P
(
Y
=
y
n
)
E[Y] =\sum_{1}^{n} {{y}_{n}P(Y={y}_{n})}
E[Y]=∑1nynP(Y=yn),求
Y
Y
Y的期望:
E
[
Y
]
=
0
∗
P
(
X
≤
a
)
+
a
∗
P
(
X
≥
a
)
=
a
P
(
X
≥
a
)
E[Y]=0*P(X \leq a)+a*P(X \geq a)=aP(X \geq a)
E[Y]=0∗P(X≤a)+a∗P(X≥a)=aP(X≥a)
因此,
E
[
X
]
≥
E
[
Y
]
=
a
P
(
X
≥
a
)
E[X] \geq E[Y]=aP(X \geq a)
E[X]≥E[Y]=aP(X≥a)
定理得证。
Chebyshev’s inequality(切比雪夫不等式)
定义
假设随机变量
X
X
X的期望
μ
\mu
μ有界,方差
σ
2
{\sigma}^2
σ2,
k
>
0
k > 0
k>0,那么
P
(
∣
X
−
μ
∣
≥
k
)
≤
σ
2
k
2
P(|X-\mu|\geq k) \leq \frac{{\sigma}^2}{{k}^2}
P(∣X−μ∣≥k)≤k2σ2
证明
注意到
(
X
−
σ
)
2
(X-\sigma)^2
(X−σ)2非负,因为
P
(
∣
X
−
μ
∣
≥
k
)
=
P
(
(
X
−
μ
)
2
≥
k
2
)
P(|X-\mu|\geq k)=P({(X-\mu)}^2\geq k^2)
P(∣X−μ∣≥k)=P((X−μ)2≥k2),对
P
(
(
X
−
μ
)
2
≥
k
2
)
P({(X-\mu)}^2\geq k^2)
P((X−μ)2≥k2)使用Markov’s inequality(
a
=
k
2
a=k^2
a=k2),
得到:
P
(
∣
X
−
μ
∣
≥
k
)
=
P
(
(
X
−
μ
)
2
≥
k
2
)
≤
E
[
(
X
−
μ
)
2
]
k
2
=
σ
2
k
2
P(|X-\mu|\geq k)=P({(X-\mu)}^2\geq k^2) \leq \frac{E[{(X-\mu)}^2]}{k^2}=\frac{{\sigma}^2}{k^2}
P(∣X−μ∣≥k)=P((X−μ)2≥k2)≤k2E[(X−μ)2]=k2σ2
定理得证