08.第三章 数字特征与特征函数(1)

第三章 数字特征与特征函数(1)

1.随机变量的期望求算

随机变量将样本点映射到实数，也就是说随机变量的取值总是一族数，这些数对应着不同的概率，那么它们的聚集情况就有一定的特征来刻画。数学期望就是刻画这些数的聚集中心的数字特征，一般地对随机变量$X$，分布函数为$F(x)$，定义$X$的数学期望为（此处可跳过至具体两种情况）
$${\int }_{-\infty }^{\infty }xdF(x)=\sum _{i=1}^N{x}_i[F(x_i)-F(x_{i-1})].$$
这种积分称为Stieltjes积分，这里$-\infty =x_0<x_1<\cdots <x_N=\infty$，且必须满足绝对可积，也就是${\int }_{-\infty }^{\infty }|x|dF(x)<\infty$。

当然，看起来这不是一个好计算的积分，一是除了连续函数的分布函数是绝对可积的外，其他函数的分布函数并不一定有很好的性质；二是这样一个复杂的求和式的求算是十分复杂的，一般我们将合式转化为积分计算，反其道而行之显然会造成很多不便。

绕开一般的随机变量，只取其中特殊的两种——离散型随机变量、连续型随机变量考虑，它们的分布分别可以由概率分布列和概率密度函数来刻画，自然会考虑将它们的期望转化为关于分布列、密度的表达式。

首先是离散型随机变量，回顾它的形状（阶梯型），除了少数几个点外都是常数，因此$F(x)-F(x-\Delta x)=0$对于一般的$x$是成立的。不成立点在哪里呢？显然在于那几个可取值的点，即$x_1,\cdots ,x_n,p(x_i)>0$。由于
$$F(x_i)=P(X\le x_i)\ne P(X<x_i)=F(x_i-0),$$
所以在几个点$x_i$处，有$F(x_i)-F(x_i-0)=p_i$，因此我们得到离散型随机变量的数学期望表达式
$$EX=\sum _{i=1}^{\infty }{x}_i{p}_i,p_i>0.$$
当然，也要满足绝对可积条件$\sum _{i=1}^{\infty }|x_i|p_i<\infty$。

对于连续型随机变量，由于$p(x_i)=\underset{x_i-x_{i-1}\to 0}{\lim }\frac{F(x_i)-F(x_{i-1})}{x_i-x_{i-1}}$，所以可以直接作变换，得到
$$\begin{array}{rl}EX=& \sum _{i=1}^N{x}_i\frac{F(x_i)-F(x_{i-1})}{x_i-x_{i-1}}(x_i-x_{i-1})\\ =& \sum _{i=1}^N{x}_{i}p(x_i)[x_i-x_{i-1}]\\ =& {\int }_{-\infty }^{\infty }xp(x)dx.\end{array}$$
而绝对可积的条件，就转化为${\int }_{-\infty }^{\infty }|x|p(x)dx<\infty$。

综上所述，我们一般使用如下的两个公式来分别求离散型、连续型的随机变量期望：
$$EX=\sum _{i=1}^{\infty }{x}_i{p}_i,或EX={\int }_{-\infty }^{\infty }xp(x)dx.$$
注意到，对于离散情形，数学期望就是各个取值关于它们概率的加权平均；而对于连续情形，密度函数也是概率在每点处取值的相对大小，也可以看成一种连续的加权平均。因此，数学期望反映的就是随机变量的平均水平，因此也叫均值。

那么非离散、连续型数学期望，比如给定一个分布函数$F(x)$，它又不是连续的又不是阶梯型的，应当如何求算它的数学期望？用求和式不实际，于是考虑对Stieltjes积分作一些变形。

首先对于Stieltjes积分，它可以跟分布函数联系在一起，由积分和微分的互为逆运算性，有
$$F(x)={\int }_{-\infty }^{x}dF(t)=P(X\le x)$$
这里$X\le x$是一个Borel集，那么由Borel集的构造，一切集合都可以类似表示在积分号上，所以有
$$P(X\in B)={\int }_{x\in B}dF(x).$$
然后对数学期望的式子进行改造，由绝对可积性可以把积分拆成正负两部分，得到
$$\begin{array}{rl}EX=& {\int }_{-\infty }^{\infty }xdF(x)\\ =& {\int }_0^{\infty }xdF(x)+{\int }_{-\infty }^{0}xdF(x)\\ =& {\int }_0^{\infty }{\int }_0^{x}dtdF(x)-{\int }_{-\infty }^0{\int }_x^{0}dtdF(x)\\ =& {\int }_0^{\infty }dt{\int }_t^{\infty }dF(x)+{\int }_{-\infty }^0{\int }_{-\infty }^{t}dF(x)dt\\ =& {\int }_0^{\infty }P(X>t)dt+{\int }_{-\infty }^{0}P(X<t)dt.\end{array}$$
因此，在概率分布列或密度函数求算不是那么方便，而分布函数已知时，可以利用这个公式来求随机变量的期望，这就解决了非离散、连续型随机变量数学期望的求算。

• 这里重要的是积分区域的变换。
• 如果给定的随机变量只是正值的，则可以舍弃后面那一项。

另外，还有重要的随机变量函数，它的数学期望求取却十分简单。现依然假设$X$的分布函数为$F(x)$，有概率分布列$p_i$或密度函数$p(x)$，对于随机变量函数$Y=f(X)$，它的数学期望就是
$$EY={\int }_{-\infty }^{\infty }f(x)dF(x)=\{\begin{array}{lc}\sum _{i=1}^{\infty }f(x_i)p_i,& X离散;\\ {\int }_{-\infty }^{\infty }f(x)p(x)dx,& X连续.\end{array}$$
这个结论直接记忆即可，就是用随机变量函数的函数部分，直接套到原积分内$X$的位置。当然，如果$p(x)$不太好积分，而$Y$的密度函数在求取后却有着简洁好积的形式，也可以直接用$Y$的密度求。

2.随机向量的期望求算

随机向量与随机变量的期望形式上是类似的，设$(X,Y)$的联合分布函数是$F(x,y)$，且具有联合密度函数$p(x,y)$（离散型可以直接类比一维，就不讨论了）。我们可以先求出其边际分布$F_X(x),F_Y(y)$从而分别确定$X,Y$的期望，但对于$X,Y$的期望，我们更愿意将其看成一种随机向量函数：
$$g(X,Y)=X,h(X,Y)=Y.$$
这样，如果我们能推出一般随机变量函数$f(X,Y)$的期望，就可以一举解决所有相关的问题。好在，随机向量函数的期望具有和随机变量函数期望类似的形式，即
$$Ef(X,Y)={\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }f(x,y)dF(x,y)={\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }f(x,y)p(x,y)dxdy.$$
这样就可以不求边际分布，直接求得每一个分量的期望，以及其他随机向量函数的数学期望。

3.数学期望的性质

数学期望具有一系列实用的性质，其中以线性计算相关性质最为重要。

1. 有界性：若$a\le \xi \le b$，则$E\xi$存在且$a\le E\xi \le b$。如果$\xi \le \eta$，则有$E\xi \le E\eta$。

   注意两个随机变量之间的大小关系是不好对比的，一般只能说明$\xi <\xi +1$这种显然的关系。

2. 线性性质：若$E{\xi }_1,\cdots ,E{\xi }_n$都存在，则对于任意常数$b,c_1,\cdots ,c_n$，有
   $$E(\sum _{i=1}^n{c}_i{\xi }_i+b)=\sum _{i=1}^n{c}_{i}E{\xi }_i+b.$$
   将此性质拆分，可以得到$E(X+Y)=EX+EY,E(cX)=cEX$，这就是数学期望的线性计算性质。

3. 独立可拆分性：若$X,Y$独立，则$E(XY)=E(X)E(Y)$。

4. 有界收敛定理：对一列随机变量${\xi }_1,\cdots ,{\xi }_n,\cdots$与目标随机变量$\xi$，如果对于任意样本点$\omega$，都有$\underset{n\to \infty }{\lim }{\xi }_n(\omega )=\xi (\omega )$，且对一切$n\ge 1$，$|{\xi }_n|\le M$，这里$M$为常数，则有
   $$\underset{n\to \infty }{\lim }E{\xi }_n=E\xi .$$
   这个定理给出了随机变量期望收敛的一个条件：随机变量列是有界的。如果把$M$改成一个数学期望存在的非负随机变量$\eta$，则${\xi }_n$的数学期望依然收敛于$E\xi$，这就是控制收敛定理。

4.条件期望

条件期望针对条件分布而言，既然随机变量可以具有条件分布，那么把条件分布看成分布函数就能够推出条件期望。如果$X=x$的情况下$Y$的条件分布为$F_{Y|X}(y|x)$，则条件期望就是
$$E(Y|X=x)={\int }_{\infty }^{\infty }yd{F}_{Y|X}(y|x).$$
在给定$x$的情况下，可以看到条件期望是一个数值，那么当$x$可以任意给定时，$E(Y|X=x)$就可以看作一个关于$x$的函数，记作$m(x)$。然而，在很多情况下，我们没法给定$x$的具体值——因为$X$本身也是随机变量，具有自己的分布。那么$m(X)$实际上也是一个随机变量（$X$取定值时$m(X)$随之确定），它的期望有什么特点？仅考虑$(X,Y)$是连续的，具有联合密度$p(x,y)$，那么
$$\begin{array}{rl}Em(X)=& {\int }_{-\infty }^{\infty }m(x)p_X(x)dx\\ =& {\int }_{-\infty }^{\infty }\left({\int }_{-\infty }^{\infty }y{p}_{Y|X}(y|x)dy\right)p_X(x)dx\\ =& {\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }y(p_{Y|X}(y|x)p_X(x))dxdy\\ =& {\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }yp(x,y)dxdy\\ =& E(Y).\end{array}$$
也就是$E[E(Y|X)]=E(Y)$，这也被称为全期望公式。可以看到，全期望公式里$X$和$Y$没有什么约束，所以实际应用时$X$可以根据情况选择。这个公式在求随机过程期望时很常用。

要注意，在取条件期望时，右边的$X$是“暂时地”被当成常数处理的，所以$E(f(X)Y|X)=f(X)E(Y|X)$是成立的。