第三章 数字特征与特征函数(1)
1.随机变量的期望求算
随机变量将样本点映射到实数,也就是说随机变量的取值总是一族数,这些数对应着不同的概率,那么它们的聚集情况就有一定的特征来刻画。数学期望就是刻画这些数的聚集中心的数字特征,一般地对随机变量
X
X
X,分布函数为
F
(
x
)
F(x)
F(x),定义
X
X
X的数学期望为(此处可跳过至具体两种情况)
∫
−
∞
∞
x
d
F
(
x
)
=
∑
i
=
1
N
x
i
[
F
(
x
i
)
−
F
(
x
i
−
1
)
]
.
\int_{-\infty}^\infty xdF(x)=\sum_{i=1}^N x_i[F(x_i)-F(x_{i-1})].
∫−∞∞xdF(x)=i=1∑Nxi[F(xi)−F(xi−1)].
这种积分称为Stieltjes积分,这里
−
∞
=
x
0
<
x
1
<
⋯
<
x
N
=
∞
-\infty =x_0<x_1<\cdots<x_N=\infty
−∞=x0<x1<⋯<xN=∞,且必须满足绝对可积,也就是
∫
−
∞
∞
∣
x
∣
d
F
(
x
)
<
∞
\int_{-\infty}^\infty |x|dF(x)<\infty
∫−∞∞∣x∣dF(x)<∞。
当然,看起来这不是一个好计算的积分,一是除了连续函数的分布函数是绝对可积的外,其他函数的分布函数并不一定有很好的性质;二是这样一个复杂的求和式的求算是十分复杂的,一般我们将合式转化为积分计算,反其道而行之显然会造成很多不便。
绕开一般的随机变量,只取其中特殊的两种——离散型随机变量、连续型随机变量考虑,它们的分布分别可以由概率分布列和概率密度函数来刻画,自然会考虑将它们的期望转化为关于分布列、密度的表达式。
首先是离散型随机变量,回顾它的形状(阶梯型),除了少数几个点外都是常数,因此
F
(
x
)
−
F
(
x
−
Δ
x
)
=
0
F(x)-F(x-\Delta x)=0
F(x)−F(x−Δx)=0对于一般的
x
x
x是成立的。不成立点在哪里呢?显然在于那几个可取值的点,即
x
1
,
⋯
,
x
n
,
p
(
x
i
)
>
0
x_1,\cdots,x_n,p(x_i)>0
x1,⋯,xn,p(xi)>0。由于
F
(
x
i
)
=
P
(
X
≤
x
i
)
≠
P
(
X
<
x
i
)
=
F
(
x
i
−
0
)
,
F(x_i)=P(X\le x_i)\neq P(X<x_i)=F(x_i-0),
F(xi)=P(X≤xi)=P(X<xi)=F(xi−0),
所以在几个点
x
i
x_i
xi处,有
F
(
x
i
)
−
F
(
x
i
−
0
)
=
p
i
F(x_i)-F(x_i-0)=p_i
F(xi)−F(xi−0)=pi,因此我们得到离散型随机变量的数学期望表达式
E
X
=
∑
i
=
1
∞
x
i
p
i
,
p
i
>
0.
EX=\sum_{i=1}^\infty x_i p_i,\quad p_i>0.
EX=i=1∑∞xipi,pi>0.
当然,也要满足绝对可积条件
∑
i
=
1
∞
∣
x
i
∣
p
i
<
∞
\sum\limits_{i=1}^\infty |x_i|p_i<\infty
i=1∑∞∣xi∣pi<∞。
对于连续型随机变量,由于
p
(
x
i
)
=
lim
x
i
−
x
i
−
1
→
0
F
(
x
i
)
−
F
(
x
i
−
1
)
x
i
−
x
i
−
1
p(x_i)=\lim\limits_{x_i-x_{i-1}\to 0}\frac{F(x_i)-F(x_{i-1})}{x_i-x_{i-1}}
p(xi)=xi−xi−1→0limxi−xi−1F(xi)−F(xi−1),所以可以直接作变换,得到
E
X
=
∑
i
=
1
N
x
i
F
(
x
i
)
−
F
(
x
i
−
1
)
x
i
−
x
i
−
1
(
x
i
−
x
i
−
1
)
=
∑
i
=
1
N
x
i
p
(
x
i
)
[
x
i
−
x
i
−
1
]
=
∫
−
∞
∞
x
p
(
x
)
d
x
.
\begin{aligned} EX=&\sum_{i=1}^Nx_i\frac{F(x_i)-F(x_{i-1})}{x_i-x_{i-1}}(x_i-x_{i-1})\\ =&\sum_{i=1}^N x_i p(x_i)[x_i-x_{i-1}]\\ =&\int_{-\infty}^\infty xp(x)dx. \end{aligned}
EX===i=1∑Nxixi−xi−1F(xi)−F(xi−1)(xi−xi−1)i=1∑Nxip(xi)[xi−xi−1]∫−∞∞xp(x)dx.
而绝对可积的条件,就转化为
∫
−
∞
∞
∣
x
∣
p
(
x
)
d
x
<
∞
\int_{-\infty}^\infty |x|p(x)dx<\infty
∫−∞∞∣x∣p(x)dx<∞。
综上所述,我们一般使用如下的两个公式来分别求离散型、连续型的随机变量期望:
E
X
=
∑
i
=
1
∞
x
i
p
i
,
或
E
X
=
∫
−
∞
∞
x
p
(
x
)
d
x
.
EX=\sum_{i=1}^\infty x_ip_i,或EX=\int_{-\infty}^\infty xp(x)dx.
EX=i=1∑∞xipi,或EX=∫−∞∞xp(x)dx.
注意到,对于离散情形,数学期望就是各个取值关于它们概率的加权平均;而对于连续情形,密度函数也是概率在每点处取值的相对大小,也可以看成一种连续的加权平均。因此,数学期望反映的就是随机变量的平均水平,因此也叫均值。
那么非离散、连续型数学期望,比如给定一个分布函数 F ( x ) F(x) F(x),它又不是连续的又不是阶梯型的,应当如何求算它的数学期望?用求和式不实际,于是考虑对Stieltjes积分作一些变形。
首先对于Stieltjes积分,它可以跟分布函数联系在一起,由积分和微分的互为逆运算性,有
F
(
x
)
=
∫
−
∞
x
d
F
(
t
)
=
P
(
X
≤
x
)
F(x)=\int_{-\infty}^x dF(t)=P(X\le x)
F(x)=∫−∞xdF(t)=P(X≤x)
这里
X
≤
x
X\le x
X≤x是一个Borel集,那么由Borel集的构造,一切集合都可以类似表示在积分号上,所以有
P
(
X
∈
B
)
=
∫
x
∈
B
d
F
(
x
)
.
P(X\in B)=\int_{x\in B}dF(x).
P(X∈B)=∫x∈BdF(x).
然后对数学期望的式子进行改造,由绝对可积性可以把积分拆成正负两部分,得到
E
X
=
∫
−
∞
∞
x
d
F
(
x
)
=
∫
0
∞
x
d
F
(
x
)
+
∫
−
∞
0
x
d
F
(
x
)
=
∫
0
∞
∫
0
x
d
t
d
F
(
x
)
−
∫
−
∞
0
∫
x
0
d
t
d
F
(
x
)
=
∫
0
∞
d
t
∫
t
∞
d
F
(
x
)
+
∫
−
∞
0
∫
−
∞
t
d
F
(
x
)
d
t
=
∫
0
∞
P
(
X
>
t
)
d
t
+
∫
−
∞
0
P
(
X
<
t
)
d
t
.
\begin{aligned} EX=&\int_{-\infty}^\infty xdF(x)\\ =&\int_{0}^\infty xdF(x)+\int_{-\infty}^0xdF(x)\\ =&\int_0^\infty \int_0^x dtdF(x)-\int_{-\infty}^0 \int_x^0 dtdF(x)\\ =&\int_0^\infty dt\int_t^\infty dF(x)+\int_{-\infty}^0\int_{-\infty}^t dF(x)dt\\ =&\int_0^\infty P(X>t)dt+\int_{-\infty}^0 P(X<t)dt. \end{aligned}
EX=====∫−∞∞xdF(x)∫0∞xdF(x)+∫−∞0xdF(x)∫0∞∫0xdtdF(x)−∫−∞0∫x0dtdF(x)∫0∞dt∫t∞dF(x)+∫−∞0∫−∞tdF(x)dt∫0∞P(X>t)dt+∫−∞0P(X<t)dt.
因此,在概率分布列或密度函数求算不是那么方便,而分布函数已知时,可以利用这个公式来求随机变量的期望,这就解决了非离散、连续型随机变量数学期望的求算。
- 这里重要的是积分区域的变换。
- 如果给定的随机变量只是正值的,则可以舍弃后面那一项。
另外,还有重要的随机变量函数,它的数学期望求取却十分简单。现依然假设
X
X
X的分布函数为
F
(
x
)
F(x)
F(x),有概率分布列
p
i
p_i
pi或密度函数
p
(
x
)
p(x)
p(x),对于随机变量函数
Y
=
f
(
X
)
Y=f(X)
Y=f(X),它的数学期望就是
E
Y
=
∫
−
∞
∞
f
(
x
)
d
F
(
x
)
=
{
∑
i
=
1
∞
f
(
x
i
)
p
i
,
X
离
散
;
∫
−
∞
∞
f
(
x
)
p
(
x
)
d
x
,
X
连
续
.
EY=\int_{-\infty}^\infty f(x)dF(x)=\left\{ \begin{array}l \sum\limits_{i=1}^\infty f(x_i)p_i,&X离散;\\ \int_{-\infty}^\infty f(x)p(x)dx,&X连续. \end{array} \right.
EY=∫−∞∞f(x)dF(x)=⎩⎨⎧i=1∑∞f(xi)pi,∫−∞∞f(x)p(x)dx,X离散;X连续.
这个结论直接记忆即可,就是用随机变量函数的函数部分,直接套到原积分内
X
X
X的位置。当然,如果
p
(
x
)
p(x)
p(x)不太好积分,而
Y
Y
Y的密度函数在求取后却有着简洁好积的形式,也可以直接用
Y
Y
Y的密度求。
2.随机向量的期望求算
随机向量与随机变量的期望形式上是类似的,设
(
X
,
Y
)
(X,Y)
(X,Y)的联合分布函数是
F
(
x
,
y
)
F(x,y)
F(x,y),且具有联合密度函数
p
(
x
,
y
)
p(x,y)
p(x,y)(离散型可以直接类比一维,就不讨论了)。我们可以先求出其边际分布
F
X
(
x
)
,
F
Y
(
y
)
F_X(x),F_Y(y)
FX(x),FY(y)从而分别确定
X
,
Y
X,Y
X,Y的期望,但对于
X
,
Y
X,Y
X,Y的期望,我们更愿意将其看成一种随机向量函数:
g
(
X
,
Y
)
=
X
,
h
(
X
,
Y
)
=
Y
.
g(X,Y)=X,\quad h(X,Y)=Y.
g(X,Y)=X,h(X,Y)=Y.
这样,如果我们能推出一般随机变量函数
f
(
X
,
Y
)
f(X,Y)
f(X,Y)的期望,就可以一举解决所有相关的问题。好在,随机向量函数的期望具有和随机变量函数期望类似的形式,即
E
f
(
X
,
Y
)
=
∫
−
∞
∞
∫
−
∞
∞
f
(
x
,
y
)
d
F
(
x
,
y
)
=
∫
−
∞
∞
∫
−
∞
∞
f
(
x
,
y
)
p
(
x
,
y
)
d
x
d
y
.
Ef(X,Y)=\int_{-\infty}^\infty \int_{-\infty}^\infty f(x,y)dF(x,y)=\int_{-\infty}^\infty \int_{-\infty}^\infty f(x,y)p(x,y)dxdy.
Ef(X,Y)=∫−∞∞∫−∞∞f(x,y)dF(x,y)=∫−∞∞∫−∞∞f(x,y)p(x,y)dxdy.
这样就可以不求边际分布,直接求得每一个分量的期望,以及其他随机向量函数的数学期望。
3.数学期望的性质
数学期望具有一系列实用的性质,其中以线性计算相关性质最为重要。
-
有界性:若 a ≤ ξ ≤ b a\le \xi \le b a≤ξ≤b,则 E ξ E\xi Eξ存在且 a ≤ E ξ ≤ b a\le E\xi \le b a≤Eξ≤b。如果 ξ ≤ η \xi\le\eta ξ≤η,则有 E ξ ≤ E η E\xi \le E\eta Eξ≤Eη。
注意两个随机变量之间的大小关系是不好对比的,一般只能说明 ξ < ξ + 1 \xi<\xi+1 ξ<ξ+1这种显然的关系。
-
线性性质:若 E ξ 1 , ⋯ , E ξ n E\xi_1,\cdots,E\xi_n Eξ1,⋯,Eξn都存在,则对于任意常数 b , c 1 , ⋯ , c n b,c_1,\cdots,c_n b,c1,⋯,cn,有
E ( ∑ i = 1 n c i ξ i + b ) = ∑ i = 1 n c i E ξ i + b . E(\sum_{i=1}^n c_i\xi_i+b)=\sum_{i=1}^nc_iE\xi_i+b. E(i=1∑nciξi+b)=i=1∑nciEξi+b.
将此性质拆分,可以得到 E ( X + Y ) = E X + E Y , E ( c X ) = c E X E(X+Y)=EX+EY,E(cX)=cEX E(X+Y)=EX+EY,E(cX)=cEX,这就是数学期望的线性计算性质。 -
独立可拆分性:若 X , Y X,Y X,Y独立,则 E ( X Y ) = E ( X ) E ( Y ) E(XY)=E(X)E(Y) E(XY)=E(X)E(Y)。
-
有界收敛定理:对一列随机变量 ξ 1 , ⋯ , ξ n , ⋯ \xi_1,\cdots,\xi_n,\cdots ξ1,⋯,ξn,⋯与目标随机变量 ξ \xi ξ,如果对于任意样本点 ω \omega ω,都有 lim n → ∞ ξ n ( ω ) = ξ ( ω ) \lim\limits_{n\to \infty}\xi_n(\omega)=\xi(\omega) n→∞limξn(ω)=ξ(ω),且对一切 n ≥ 1 n\ge 1 n≥1, ∣ ξ n ∣ ≤ M |\xi_n|\le M ∣ξn∣≤M,这里 M M M为常数,则有
lim n → ∞ E ξ n = E ξ . \lim_{n\to \infty} E\xi_n=E\xi. n→∞limEξn=Eξ.
这个定理给出了随机变量期望收敛的一个条件:随机变量列是有界的。如果把 M M M改成一个数学期望存在的非负随机变量 η \eta η,则 ξ n \xi_n ξn的数学期望依然收敛于 E ξ E\xi Eξ,这就是控制收敛定理。
4.条件期望
条件期望针对条件分布而言,既然随机变量可以具有条件分布,那么把条件分布看成分布函数就能够推出条件期望。如果
X
=
x
X=x
X=x的情况下
Y
Y
Y的条件分布为
F
Y
∣
X
(
y
∣
x
)
F_{Y|X}(y|x)
FY∣X(y∣x),则条件期望就是
E
(
Y
∣
X
=
x
)
=
∫
∞
∞
y
d
F
Y
∣
X
(
y
∣
x
)
.
E(Y|X=x)=\int_{\infty}^\infty ydF_{Y|X}(y|x).
E(Y∣X=x)=∫∞∞ydFY∣X(y∣x).
在给定
x
x
x的情况下,可以看到条件期望是一个数值,那么当
x
x
x可以任意给定时,
E
(
Y
∣
X
=
x
)
E(Y|X=x)
E(Y∣X=x)就可以看作一个关于
x
x
x的函数,记作
m
(
x
)
m(x)
m(x)。然而,在很多情况下,我们没法给定
x
x
x的具体值——因为
X
X
X本身也是随机变量,具有自己的分布。那么
m
(
X
)
m(X)
m(X)实际上也是一个随机变量(
X
X
X取定值时
m
(
X
)
m(X)
m(X)随之确定),它的期望有什么特点?仅考虑
(
X
,
Y
)
(X,Y)
(X,Y)是连续的,具有联合密度
p
(
x
,
y
)
p(x,y)
p(x,y),那么
E
m
(
X
)
=
∫
−
∞
∞
m
(
x
)
p
X
(
x
)
d
x
=
∫
−
∞
∞
(
∫
−
∞
∞
y
p
Y
∣
X
(
y
∣
x
)
d
y
)
p
X
(
x
)
d
x
=
∫
−
∞
∞
∫
−
∞
∞
y
(
p
Y
∣
X
(
y
∣
x
)
p
X
(
x
)
)
d
x
d
y
=
∫
−
∞
∞
∫
−
∞
∞
y
p
(
x
,
y
)
d
x
d
y
=
E
(
Y
)
.
\begin{aligned} Em(X)=&\int_{-\infty}^\infty m(x)p_X(x)dx\\ =&\int_{-\infty}^\infty \left(\int_{-\infty}^{\infty} yp_{Y|X}(y|x)dy \right)p_X(x)dx\\ =&\int_{-\infty}^\infty \int_{-\infty}^\infty y(p_{Y|X}(y|x)p_X(x))dxdy\\ =&\int_{-\infty}^\infty \int_{-\infty}^\infty y p(x,y)dxdy\\ =&E(Y). \end{aligned}
Em(X)=====∫−∞∞m(x)pX(x)dx∫−∞∞(∫−∞∞ypY∣X(y∣x)dy)pX(x)dx∫−∞∞∫−∞∞y(pY∣X(y∣x)pX(x))dxdy∫−∞∞∫−∞∞yp(x,y)dxdyE(Y).
也就是
E
[
E
(
Y
∣
X
)
]
=
E
(
Y
)
E[E(Y|X)]=E(Y)
E[E(Y∣X)]=E(Y),这也被称为全期望公式。可以看到,全期望公式里
X
X
X和
Y
Y
Y没有什么约束,所以实际应用时
X
X
X可以根据情况选择。这个公式在求随机过程期望时很常用。
要注意,在取条件期望时,右边的 X X X是“暂时地”被当成常数处理的,所以 E ( f ( X ) Y ∣ X ) = f ( X ) E ( Y ∣ X ) E(f(X)Y|X)=f(X)E(Y|X) E(f(X)Y∣X)=f(X)E(Y∣X)是成立的。