本篇博文给出涉及期望的三个不等式的证明,之后我们会经常遇到这些不等式,首先介绍一个有用的结论。
定理1:
令
X
表示随机变量,
证明:
我们证明连续情况;离散情况与之类似,只需要将积分符号换成求和符号即可,令
f(x)
是
X
的pdf,那么
得证。
定理2:
(马尔科夫不等式)令
u(X)
是随机变量
X
的非负函数,如果
证明:
这里给出连续情况的证明;对于离散情况,只需要将积分符号改成求和符号即可。令
A={x:u(x)≥c}
,
f(x)
表示
X
的pdf,那么
上式最右边的每个被积函数都是正的,所以左边大于或等于右边任何一项,特别地
然而,如果
x∈A
,那么
u(x)≥c
,所以我们用
c
代替上式右边
因为
从而得到
得证。
前面这个不等式是切比雪夫不等式的推广,具体如下定理所述。
定理3:
(切比雪夫不等式)
X
是一个随机变量且概率分布的方差
或者等价的
证明:
利用定理2中取
u(X)=(X−μ)2,c=k2σ2
,那么我们有
因为这个不等式右边的分子是
σ2
,所以可以写成
得证。当然这里的 k 是大于1的整数。
切比雪夫不等式有一个简洁的形式,可以取
因此 1/k2 是概率 P(|X−μ|≥kσ) 的上界,接下来我们给出一些实例中的上界与概率的准确值。
例1:
令
X
的pdf为
这里
μ=0,σ2=1
,如果
k=32
,我们有准确的概率值
根据切比雪夫不等式,这个概率上界为 1/k2=49 ,因为近似 1−3√/2=0.134 ,这是准确值远小于上界 4/9 。如果取 k=2 ,我们得到的准确值是 P(|X−μ|≥2σ)=P(|X|≥2)=0 ,依然远小于上界 1/k2=1/4 。
在上面的例子中,概率 P(|X−μ|≥kσ) 与上界 1/k2 差别较大。然而,如果我们希望不等式对所有 k>0 成立且对所有有有限方差的随机变量成立,那么就不可能再提高了,如下所示。
例2:
X
是离散型随机变量,在点
成立,那么函数 ϕ(x) 称为凸函数,如果上面的不等式是严格的,那么称 ϕ 是严格凸函数。
在一阶与二阶导存在的情况下,下面的不等式成立。
定理4: 如果 ϕ 在 (a,b) 上可微,那么
- 对于所有的 a<x<y<b ,当且仅当 ϕ′(x)≤ϕ′′(y) 时, ϕ 是凸的。
- 对于所有的 a<x<y<b ,当且仅当 ϕ′(x)<ϕ′′(y) 时, ϕ 是严格凸的。
如果 ϕ 在 (a,b) 上二阶可微,那么
- 对于所有的 a<x<y<b ,当且仅当 ϕ′′(x)≥0 时, ϕ 是凸的。
- 对于所有的 a<x<y<b ,当且仅当 ϕ′′(y)>0 时, ϕ 是严格凸的。
当然这个定理的第二部分可以从第一部分直接导出,而第一部分直观上也比较好理解,具体证明可以参考一些分析的书。下面给出一个非常有用的关于凸的不等式。
定理5:
(詹森不等式)如果
ϕ
在开集
I
上是凸的,
如果 ϕ 严格凸,那么不等式是严格的,除非 X 是一个常随机变量。
其中
ζ
位于
x,μ
之间。因为上式的最后一项是正的,所以我们有
两边分别取期望即可得到所要的结论。假设
X
不是常量,那么如果对于所有的
例3:
X
是非退化随机变量,均值为
例4:
(调和与几何平均)令
{a1,…,an}
是正数集合,对每个数
a1,…,an
分配权重
1/n
就得到一个随机变量
X
的分布,那么
或者等价的
因此
不等式左边称为几何平均(GM),所有上面的不等式等价于对任意有限正数集, GM≤AM 。
现在用
1/ai
代替
ai
,(也是正值),那么我们就得到
或者等价的
不等式的左边称为调和级数(HM),从而我们得出对任意正数集合