漫步数理统计十三——特殊的期望

某些期望有特殊的名字与符号表示。首先$X$表示离散随机变量，pmf为$p(x)$，那么

$$E(X)=\sum_xxp(x)$$

如果$X$的支撑为$\{a_1,a_2,a_3,\ldots\}$，那么

$$E(X)=a_1p(a_1)+a_2p(a_2)+a_3p(a_3)+\cdots$$

这个乘积和是加权平均，权值$a_1,a_2,a_3,\ldots$将每个$a_i$与$p(a_i)$联系起来，这表明我们可以称$E(X)$为$X$的算术均值或者更简单点$X$的均值。

$\textbf{定义1：}$(均值)$X$是随机变量，且期望存在，$X$的均值$\mu$定义为$\mu=E(X)$。

均值是随机变量的一阶矩(关于0)，另一个特殊的期望涉及到二阶矩，令$X$是离散随机变量，支撑为$\{a_1,a_2,\ldots\}$，pmf为$p(x)$，那么

$$\begin{align*} E[(X-\mu)^2] &=\sum_x(x-\mu)^2p(x)\\ &=(a_1-\mu)^2p(a_1)+(a_2-\mu)^2p(a_2)+\cdots \end{align*}$$

这个乘积和可以看成$a_1,a_2,\ldots$与均值$\mu$差值平方的加权平均，也可以当成$X$关于$\mu$的二阶矩，它是非常重要的期望，我们通常称为方差。

$\textbf{定义2：}$(方差)$X$是随机变量，均值$\mu$为有限值且使得$E[(X-\mu)^2]$，那么$X$的方差定义为$E[(X-\mu)^2]$，通常用$\sigma^2$或$Var(X)$表示。

仔细观察$Var(X)$会发现

$$\sigma^2=E[(X-\mu)^2]=E(X^2-2\mu X+\mu^2)$$

并且因为$E$是线性运算，

$$\begin{align*} \sigma^2 &=E(X^2)-2\mu E(X)+\mu^2\\ &=E(X^2)-2\mu^2+\mu^2\\ &=E(X^2)-\mu^2 \end{align*}$$

这为计算$X$方差提供了很简单的方式。

习惯上称$\sigma$为$X$的标准差(或者分布的标准差)，$\sigma$有时也为解释为空间中的点相对均值$\mu$的分散程度，如果空间只包含一个点$k$，$p(k)>0$，那么$p(k)=1,\mu=k,\sigma=0$。

$\textbf{注1：}$令连续随机变量$X$的pdf为$f_X(x)=1/(2a),-a<x<a$，其余地方为零，使得$sigma_X=a/\sqrt{3}$是$X$分布的标准差，接下来，令连续随机变量$Y$的pdf为$f_Y(y)=1/4a,-2a<y<2a$，其余地方为零，使得$\sigma_Y=2a/\sqrt{3}$是$Y$分布的标准差。这里$Y$的标准差是$X$的两倍；这说明对于$Y$而言，其概率的扩散速度比$X$的概率快两倍。

接下来我们定义第三个特殊的期望。

$\textbf{定义3：}$(矩生成函数(mgf))令$X$表示随机变量使得存在某个$h>0$，$e^{tX}$的期望在$-h<t<h$区间存在。$X$ 的矩生成函数定义为$M(t)=E(e^{tX})$，$-h<t<h$，我们用简写mgf表示随机变量的矩生成函数。

实际上我们需要的就是mgf在0的开区间内存在，当然这样的区间包含形如$(-h,h)$的区间，其中$h>0$。进一步，如果我们令$t=0$，那么显然$M(0)=1$。 但是注意对于存在的mgf，在0 的开区间内其必定存在。之后会看到，并非所有的分布都有mfg。

如果讨论几个随机变量的话，我们经常将$M$写成$M_X$来表示$X$额mgf。

令$X,Y$是有mgf的两个随机变量，如果$X,Y$有相同的分布，即对于所有的$z,F_X(z)=F_Y(z)$，那么在0的邻域内$M_X(t)=M_Y(t)$，但是mgf最重要的一个性质是这个命题反过来也成立。即mgf唯一确定一个分布，我们用一个定理描述这个命题，并用离散情况进行说明。

$\textbf{定理1：}$令$X,Y$是随机变量，他们的矩生成函数分别为$M_X,M_Y$，在0的开区间内存在，那么对于所有的$z\in R,F_X(z)=F_Y(z)$，当且仅当存在$h>0$使得对所有的$t\in(-h,h)$，等式$M_X(t)=M_Y(t)$成立。

因为这个定理非常重要，为了对其有更好的认识，考虑离散随机变量，例如对于所有的实值$t$

$$M(t)=\frac{1}{10}e^t+\frac{2}{10}e^{2t}+\frac{3}{10}e^{3t}+\frac{4}{10}e^4t$$

是离散随机变量$X$的mgf，如果令$p(x)$表示$X$的pmf，$X$的支撑为$\{a_1,a_2,a_3,\ldots\}$，那么因为

$$M(t)=\sum_xe^{tx}p(x)$$

所以我们有

$$\frac{1}{10}e^t+\frac{2}{10}e^{2t}+\frac{3}{10}e^{3t}+\frac{4}{10}e^4t=p(a_1)e^{a_1t}+p(a_2)e^{a_2t}+\cdots$$

因为上式对$t$的所有实值成立，所以右边应该由四项组成且互相与左边相等；因此我们取$a_1=1,p(a_1)=\frac{1}{10};a_2=2,p(a_2)=\frac{2}{10};a_3=3,p(a_3)=\frac{3}{10};a_4=4,p(a_4)=\frac{4}{10}$，或者简单点，$X$的pmf为

$$p(x)= \begin{cases} \frac{x}{10}&x=1,2,3,4\\ 0&elsewhere \end{cases}$$

令一方面，假设$X$是连续随机变量，令

$$M(t)=\frac{1}{1-t},t<1$$

是$X$的mgf。那么

$$\frac{1}{1-t}=\int_{-\infty}^{\infty}e^{tx}f(x)dx,t<1$$

这里$f(x)$不太明显，然而我们知道pdf为

$$f(x)= \begin{cases} e^{-x}&0<x<\infty\\ 0&elsewhere \end{cases}$$

的mgf为$M(t)=(1-t)^{-1},t<1$，因此随机变量$X$存在满足这种pdf的分布与mgf的唯一性是一致的。

因为有mgf$M(t)$的分布完全由$M(t)$确定，所以我们从$M(t)$中直接得到一些分布的性质。例如对$-h<t<h$而言$M(t)$的存在性意味着$M(t)$在$t=0$处的各阶导均存在。另外，数学分析中的定理表明微分与积分(离散情况是求和)的顺序可以交换，即如果$X$是连续的，那么

$$M^{'}(t)=\frac{dM(t)}{dt}=\frac{d}{dt}\int_{\infty}^{\infty}e^{tx}f(x)dx=\int_{\infty}^{\infty}\frac{d}{dt}e^{tx}f(x)dx=\int_{\infty}^{\infty}xe^{tx}f(x)dx$$

同样的，如果$X$是离散随机变量，那么

$$M^{'}(t)=\frac{dM(t)}{dt}=\sum_xxe^{tx}p(x)$$

令$t=0$，我们得到

$$M^{'}(0)=E(X)=\mu$$

$M(t)$的二阶导为

$$M^{''}(t)=\int_{-\infty}^{\infty}x^2e^{tx}f(x)dx\ or\ \sum_xx^2e^{tx}p(x)$$

得到$M^{''}(0)=E(X^2)$。因此$var(X)$等于

$$\sigma^2=E(X^2)-\mu^2=M^{''}(0)-[M^{'}(0)]^2$$

例如如果$M(t)=(1-t)^{-1},t<1$，利用上式

$$M^{'}(t)=(1-t)^{-2}\ M^{''}(t)=2(1-t)^{-3}$$

那么

$$\mu=M^{'}(0)=1,\ \sigma^2=M^{''}(0)-\mu^2=2-1=1$$

当然，我们可以用pdf计算$\mu,\sigma^2$

$$\mu=\int_{-\infty}^{\infty}xf(x)dx,\ \sigma^2=\int_{-\infty}^{\infty}x^2f(x)dx-\mu^2$$

一般而言，如果$m$是一个正整数，$M^{(m)}(t)$表示$M(t)$的$m$阶导数，那么

$$M^{(m)}(0)=E(X^m)$$

在力学上，

$$E(X^m)=\int_{\infty}^{\infty}x^mf(x)dx\ or\ \sum_xx^mf(x)$$

这种积分(或和)称为矩，因为$M(t)$生成$E(X^m),m=1,2,3,\ldots$的值，所以称其为矩生成函数(mgf)。事实上，有时候我们称$E(X^m)$为分布的$m$阶矩或者$X$的$m$阶矩。

$\textbf{例1：}$令$X$的pdf为

$$f(x)= \begin{cases} \frac{1}{2}(x+1)&-1<x<1\\ 0&elsewhere \end{cases}$$

那么$X$的均值为

$$\mu=\int_{-\infty}^{\infty}xf(x)dx=\int_{-1}^{1}x\frac{x+1}{2}dx=\frac{1}{3}$$

而$X$的方差为

$$\sigma^2=\int_{-\infty}^{\infty}x^2f(x)dx-\mu^2=\int_{-1} ^{1}x^2\frac{x+1}{2}dx-\left(\frac{1}{3}\right)^2=\frac{2}{9}$$

$\textbf{例2：}$如果$X$的pdf为

$$f(x)= \begin{cases} \frac{1}{x^2}&1<x<\infty\\ 0&elsewhere \end{cases}$$

那么$X$的均值不存在，因为

$$\begin{cases} \int_1^\infty|x|\frac{1}{x^2}dx &=\lim_{b\to\infty}\int_1^b\frac{1}{x}dx\\ &=\lim_{b\to\infty}(\log b-\log 1) \end{cases}$$

不存在。

$\textbf{例3：}$我们知道级数

$$\frac{1}{1^2}+\frac{1}{2^2}+\frac{1}{3^2}+\cdots$$

收敛到$\pi^2/6$，那么

$$p(x)= \begin{cases} \frac{6}{\pi^2x^2}&x=1,2,3,\ldots\\ 0&elsewhere \end{cases}$$

是离散随机变量$X$的pmf，这个分布的mgf(如果存在的话)为

$$\begin{align*} M(t) &=E(e^{tX})=\sum_xe^{tx}p(x)\\ &=\sum_{x=1}^\infty\frac{6e^{tx}}{\pi^2x^2} \end{align*}$$

通过比值测试可知该级数在$t>0$时是发散的，所以不存在正数$h$使得$-h<t<h$时$M(t)$存在。因此这个pmf为$p(x)$的分布没有mgf。

$\textbf{例4：}$令$X$的mgf为$M(t)=e^{t^2/2},-\infty<t<\infty$，我们可以对$M(t)$求任意次导得到$X$的矩，然而考虑其他方法是很有意义的。函数$M(t)$可以表示成下面的麦克劳林级数

$$\begin{align*} e^{t^2/2} &=1+\frac{1}{1!}\left(\frac{t^2}{2}\right)+\frac{1}{2!}\left(\frac{t^2}{2}\right)^2+\cdots+\frac{1}{k!}\left(\frac{t^2}{2}\right)^k+\cdots\\ &=1+\frac{1}{2!}t^2+\frac{(3)(1)}{4!}t^4+\cdots+\frac{(2k-1)\cdots(3)(1)}{(2k)!}t^{2k}+\cdots \end{align*}$$

一般而言，$M(t)$的麦克劳林级数为

$$\begin{align*} M(t) &=M(0)+\frac{M^{'}(0)}{1!}t+\frac{M^{''}(0)}{2!}t^2+\cdots+\frac{M^{(m)}(0)}{m!}t^m+\cdots\\ &=1+\frac{E(X)}{1!}t+\frac{E(X^2)}{2!}t^2+\cdots+\frac{E(X^m)}{m!}t^m+\cdots \end{align*}$$

因此在$M(t)$的麦克劳林级数表示中的系数为$E(X^m)$，从而我们有

$$\begin{align*} E(X^{2k})=(2k-1)(2k-3)\cdots(3)(1)=\frac{(2k)!}{2^kk!},k=1,2,3,\ldots\\ E(X^{2k-1})=0,k=1,2,3,\ldots \end{align*}$$

在之后的文章中我们会用着这个结论。

$\textbf{注2：}$在高级课程中，我们一般不适用mgf，因为许多分布没有矩生成函数。然而，我们令$i$表示虚数单位，$t$是任意实数，我们将定义$\varphi(t)=E(e^{itX})$，对于每个分布这个期望均存在，称其为分布的特征函数。为了说明$\varphi(t)$对所有实数$t$存在，考虑其连续情况的绝对值

$$|\varphi(t)|=\left|\int_{-\infty}^\infty e^{itx}f(x)dx\right|\leq\int_{-\infty}^{\infty}|e^{itex}f(x)|dx$$

然而，因为$f(x)$是非负的，所以$|f(x)|=f(x)$，并且

$$|e^{itx}|=|\cos tx+i\sin tx|=\sqrt{\cos^2tx+\sin^2tx}=1$$

因此

$$|\varphi(t)|\leq\int_{-\infty}^{\infty}f(x)dx=1$$

故$\varphi(t)$对所有$t$的实数值均存在。对于离散情况，只需要将积分符号换成求和即可。

每个分布有一个唯一的特征函数；对每个特征函数，存在唯一一个与之对应的概率分布。如果$X$的分布存在一个特征函数$\varphi(t)$，例如如果$E(X),E(X^2)$存在，他们分别由$iE(X)=\varphi^{'}(0),i^2E(X^2)=\varphi^{''}(0)$给出，熟悉复数函数的可能写成$\varphi(t)=M(it)$。

研究拉普拉斯与傅里叶变换的可能注意到这些变换之间与$M(t),\varphi(t)$有相似之处；这些变换的唯一性使得我们断言矩生成函数与特征函数是唯一的。