概率论——随机变量和的期望

随机变量和的期望

  期望有一个非常重要的性质：一组随机变量的和的期望与这组随机变量各自期望的和相等。
  假设样本空间$S$是一个有限的或者可数无限的集合（没有这个前提上述性质也成立，假设前提可以使讨论更清晰简单），给定一个随机变量$X$，当$s\in S$时($s$表示一次试验结果)，$X(s)$表示此时随机变量$X$的取值。现在，给定这样的随机变量$X$和$Y$，那么他们的和仍然是随机变量，即$Z=X+Y$是随机变量，并且有$Z(s)=X(s)+Y(s)$。

1 从另一种角度求期望

  现令 p ( s ) = P ( { s } ) p(s) = P(\{s\}) p(s)=P({s})表示作为随机试验的结果的概率。由于任意事件$A$都可以写成有限个或者可数无限个互不相容的事件 { s } \{s\} {s}的和，$s\in A$，根据概率论公理可得：
$$P(A)=\sum _{s\in A}p(s)$$
当$A=S$时， 上式等价于：
$$P(S)=1=\sum _{s\in S}p(s)$$
现在考虑随机变量$X$的期望$E[X]$。由于$X(s)$表示当$s$作为试验结果时$X$的取值，那是不是可以猜测：$E[X]$表示随机变量$X$的可能取值的加权平均，其中$X$的每个可能取值的权重为其取到试验结果的概率，即$E[X]$应该等于$X(s),s\in S$的加权平均，权重为$p(s)$：
$$E[X]=\sum _{s\in S}X(s)p(s)$$
下面来证明这个猜测，从我们之前对期望的求法入手，假设随机变量$X$的不同取值为$x_i(i\ge 1)$，对于每一个$i$，令$S_i$表示$X$等于$x_i$时的事件，即 S i = { s : X ( s ) = x i } S_i = \{s:X(s)=x_i\} Si​={s:X(s)=xi​}，那么：
E [ X ] = ∑ i x i P { X = x i } = ∑ i x i P ( S i ) = ∑ i x i ∑ s ∈ S i p ( s ) = ∑ i ∑ s ∈ S i X ( s ) p ( s ) = ∑ s ∈ S X ( s ) p ( s ) \begin{aligned} E[X] &= \sum_ix_iP\{X= x_i\} \\ &= \sum_ix_iP(S_i)\\ &= \sum_ix_i \sum_{s\in S_i}p(s)\\ &= \sum_i\sum_{s\in S_i}X(s)p(s)\\ &= \sum_{s\in S}X(s)p(s) \end{aligned} E[X]​=i∑​xi​P{X=xi​}=i∑​xi​P(Si​)=i∑​xi​s∈Si​∑​p(s)=i∑​s∈Si​∑​X(s)p(s)=s∈S∑​X(s)p(s)​
得证，最后一个等号成立是因为$S_1,S_2\cdots$是组成$S$的互不相容的事件。

2 重要性质的证明

  现在根据我们得到的期望的求法，来证明上面期望的重要性质——一组随机变量的和的期望与这组随机变量各自期望的和相等。即证明对于随机变量$X_1,X_2,\cdots ,X_n$，有：
$$E[\sum _{i=1}^n{X}_i]=\sum _{i=1}^{n}E[X_i]$$
证明非常简单，利用上面的结论就好了，记$Z={\sum }_{i=1}^n{X}_i$，则有：
$$\begin{array}{rl}E[Z]& =\sum _{s\in S}Z(s)p(s)\\ & =\sum _{s\in S}(X_1(s)+X_2(s)+\cdots +X_n(s))p(s)\\ & =\sum _{s\in S}{X}_1(s)p(s)+\sum _{s\in S}{X}_2(s)p(s)+\cdots +\sum _{s\in S}{X}_n(s)p(s)\\ & =E[X_1]+E[X_2]+\cdots +E[X_n]\end{array}$$
得证。

参考资料：《概率论基础教程》Sheldon M.Ross