随机变量和的期望
期望有一个非常重要的性质:一组随机变量的和的期望与这组随机变量各自期望的和相等。
假设样本空间
S
S
S是一个有限的或者可数无限的集合(没有这个前提上述性质也成立,假设前提可以使讨论更清晰简单),给定一个随机变量
X
X
X,当
s
∈
S
s \in S
s∈S时(
s
s
s表示一次试验结果),
X
(
s
)
X(s)
X(s)表示此时随机变量
X
X
X的取值。现在,给定这样的随机变量
X
X
X和
Y
Y
Y,那么他们的和仍然是随机变量,即
Z
=
X
+
Y
Z = X + Y
Z=X+Y是随机变量,并且有
Z
(
s
)
=
X
(
s
)
+
Y
(
s
)
Z(s) = X(s) + Y(s)
Z(s)=X(s)+Y(s)。
1 从另一种角度求期望
现令
p
(
s
)
=
P
(
{
s
}
)
p(s) = P(\{s\})
p(s)=P({s})表示作为随机试验的结果的概率。由于任意事件
A
A
A都可以写成有限个或者可数无限个互不相容的事件
{
s
}
\{s\}
{s}的和,
s
∈
A
s\in A
s∈A,根据概率论公理可得:
P
(
A
)
=
∑
s
∈
A
p
(
s
)
P(A) = \sum_{s\in A}p(s)
P(A)=s∈A∑p(s)
当
A
=
S
A = S
A=S时, 上式等价于:
P
(
S
)
=
1
=
∑
s
∈
S
p
(
s
)
P(S) = 1 = \sum_{s\in S}p(s)
P(S)=1=s∈S∑p(s)
现在考虑随机变量
X
X
X的期望
E
[
X
]
E[X]
E[X]。由于
X
(
s
)
X(s)
X(s)表示当
s
s
s作为试验结果时
X
X
X的取值,那是不是可以猜测:
E
[
X
]
E[X]
E[X]表示随机变量
X
X
X的可能取值的加权平均,其中
X
X
X的每个可能取值的权重为其取到试验结果的概率,即
E
[
X
]
E[X]
E[X]应该等于
X
(
s
)
,
s
∈
S
X(s),s\in S
X(s),s∈S的加权平均,权重为
p
(
s
)
p(s)
p(s):
E
[
X
]
=
∑
s
∈
S
X
(
s
)
p
(
s
)
E[X] = \sum_{s\in S}X(s)p(s)
E[X]=s∈S∑X(s)p(s)
下面来证明这个猜测,从我们之前对期望的求法入手,假设随机变量
X
X
X的不同取值为
x
i
(
i
≥
1
)
x_i(i \ge1)
xi(i≥1),对于每一个
i
i
i,令
S
i
S_i
Si表示
X
X
X等于
x
i
x_i
xi时的事件,即
S
i
=
{
s
:
X
(
s
)
=
x
i
}
S_i = \{s:X(s)=x_i\}
Si={s:X(s)=xi},那么:
E
[
X
]
=
∑
i
x
i
P
{
X
=
x
i
}
=
∑
i
x
i
P
(
S
i
)
=
∑
i
x
i
∑
s
∈
S
i
p
(
s
)
=
∑
i
∑
s
∈
S
i
X
(
s
)
p
(
s
)
=
∑
s
∈
S
X
(
s
)
p
(
s
)
\begin{aligned} E[X] &= \sum_ix_iP\{X= x_i\} \\ &= \sum_ix_iP(S_i)\\ &= \sum_ix_i \sum_{s\in S_i}p(s)\\ &= \sum_i\sum_{s\in S_i}X(s)p(s)\\ &= \sum_{s\in S}X(s)p(s) \end{aligned}
E[X]=i∑xiP{X=xi}=i∑xiP(Si)=i∑xis∈Si∑p(s)=i∑s∈Si∑X(s)p(s)=s∈S∑X(s)p(s)
得证,最后一个等号成立是因为
S
1
,
S
2
⋯
S_1,S_2\cdots
S1,S2⋯是组成
S
S
S的互不相容的事件。
2 重要性质的证明
现在根据我们得到的期望的求法,来证明上面期望的重要性质——一组随机变量的和的期望与这组随机变量各自期望的和相等。即证明对于随机变量
X
1
,
X
2
,
⋯
,
X
n
X_1,X_2,\cdots ,X_n
X1,X2,⋯,Xn,有:
E
[
∑
i
=
1
n
X
i
]
=
∑
i
=
1
n
E
[
X
i
]
E[\sum_{i=1}^nX_i] = \sum_{i=1}^nE[X_i]
E[i=1∑nXi]=i=1∑nE[Xi]
证明非常简单,利用上面的结论就好了,记
Z
=
∑
i
=
1
n
X
i
Z = \sum_{i=1}^nX_i
Z=∑i=1nXi,则有:
E
[
Z
]
=
∑
s
∈
S
Z
(
s
)
p
(
s
)
=
∑
s
∈
S
(
X
1
(
s
)
+
X
2
(
s
)
+
⋯
+
X
n
(
s
)
)
p
(
s
)
=
∑
s
∈
S
X
1
(
s
)
p
(
s
)
+
∑
s
∈
S
X
2
(
s
)
p
(
s
)
+
⋯
+
∑
s
∈
S
X
n
(
s
)
p
(
s
)
=
E
[
X
1
]
+
E
[
X
2
]
+
⋯
+
E
[
X
n
]
\begin{aligned} E[Z]&= \sum_{s\in S}Z(s)p(s)\\ &= \sum_{s\in S}(X_1(s) + X_2(s) +\cdots + X_n(s))p(s)\\ &=\sum_{s\in S}X_1(s)p(s) + \sum_{s\in S}X_2(s)p(s) + \cdots + \sum_{s\in S}X_n(s)p(s)\\ &=E[X_1] + E[X_2] + \cdots + E[X_n] \end{aligned}
E[Z]=s∈S∑Z(s)p(s)=s∈S∑(X1(s)+X2(s)+⋯+Xn(s))p(s)=s∈S∑X1(s)p(s)+s∈S∑X2(s)p(s)+⋯+s∈S∑Xn(s)p(s)=E[X1]+E[X2]+⋯+E[Xn]
得证。
参考资料:《概率论基础教程》Sheldon M.Ross