漫步数理统计二十五——正态分布

正态分布的动机源于中心极限定理（我们后面会介绍这个定理），这个定理说明正态分布为应用于统计推断提供了重要的一族分布，我们首先从标准正态分布开始。

考虑积分

$$\begin{equation} I=\int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi}}\exp\left(-\frac{z^2}{2}\right)dz\tag1 \end{equation}$$

这个积分是存在的，因为积分项是正的连续函数，它小于一个积分函数即

$$0<\exp\left(-\frac{z^2}{2}\right)<\exp(-|z|+1),\ -\infty<z<\infty$$

且

$$\int_{-\infty}^{\infty}\exp(-|z|+1)dz=2e$$

为了计算$I$，注意到$I>0$且$I^2$可以写成

$$I^2=\frac{1}{2\pi}\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}\exp\left(-\frac{z^2+w^2}{2}\right)dzdw$$

通过极坐标变换可以求出该积分。如果令$z=r\cos\theta,w=r\sin\theta$，那么我们有

$$\begin{align*} I^2 &=\frac{1}{2\pi}\int_{0}^{2\pi}\int_{0}^{\infty}e^{-r^2/2}rdrd\theta\\ &=\frac{1}{2\pi}\int_{0}^{2\pi}d\theta=1 \end{align*}$$

因为$(1)$在$R$上是正的且$R$上积分为1，所以它是$R$上连续型随机变量的pdf，我们用$Z$表示随机变量，那么$Z$的pdf为

$$\begin{equation} f(z)=\frac{1}{\sqrt{2\pi}}\exp\left(\frac{-z^2}{2}\right),\ -\infty<z<\infty\tag2 \end{equation}$$

对于$t\in R$，$Z$的mgf推导如下：

$$\begin{align} E[\exp\{tZ\}] &=\int_{-\infty}^{\infty}\exp\{tz\}\frac{1}{\sqrt{2\pi}}\exp\left\{-\frac{1}{2}z^2\right\}dz\nonumber\\ &=\exp\left\{\frac{1}{2}t^2\right\}\int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi}}\exp\left\{-\frac{1}{2}(z-t)^2\right\}dz\nonumber\\ &=\exp\left\{\frac{1}{2}t^2\right\}\int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi}}\exp\left\{-\frac{1}{2}w^2\right\}dw\tag3 \end{align}$$

其中对于最后一步积分，我们进行了一对一的变量代换$w=z-t$，根据$(2)$可知，表达式$(3)$的值为1，因此$Z$的mgf为：

$$\begin{equation} M_Z(t)=\exp\left\{\frac{1}{2}t^2\right\},\ -\infty<t<\infty\tag4 \end{equation}$$

$M_Z(t)$的前二阶导如下：

$$\begin{align*} &M_Z^\prime(t)=t\exp\left\{\frac{1}{2}t^2\right\}\\ &M_Z^{''}(t)=\exp\left\{\frac{1}{2}t^2\right\}+t^2\exp\left\{\frac{1}{2}t^2\right\} \end{align*}$$

将$t=0$代入得到$Z$的均值与方差为

$$\begin{equation} E(Z)=0,var(Z)=1\tag5 \end{equation}$$

接下来定义连续随机变量$X$为

$$X=bZ+a$$

其中$b>0$，这是一对一变换，为了求出$X$的pdf，注意到变换的逆与雅可比为：$z=b^{-1}(x-a),J=b^{-1}$。因为$b>0$，所以由$(2)$可得$X$的pdf为

$$f_X(x)=\frac{1}{\sqrt{2\pi}b}\exp\left\{-\frac{1}{2}\left(\frac{x-a}{b}\right)^2\right\},\ -\infty<x<\infty$$

由$(5)$可得出$E(X)=a,var(X)=b^2$，因此在$X$的pdf表达式中，我们可以用$\mu=E(X),\sigma^2=var(X)$代替$a,b$，正式的形式如下定理所示。

$\textbf{定义1：}$对于随机变量$X$，如果它的pdf为

$$\begin{equation} f(x)=\frac{1}{\sqrt{2\pi}\sigma}\exp\left\{-\frac{1}{2}\left(\frac{x-\mu}{\sigma}\right)^2\right\},\ -\infty<x<\infty\tag6 \end{equation}$$

参数$\mu,\sigma^2$分别是$X$的均值与方差，我们常写成$X$满足$N(\mu,\sigma^2)$分布。

利用上面的符号，$(2)$中的随机变量$Z$满足$N(0,1)$分布，我们称$Z$是标准正态随机变量。

对于$X$的mgf，根据关系$X=\sigma Z+\mu$以及$Z$的mgf可得：

$$\begin{align} E[\exp\{tX\}] &=E[\exp\{t(\sigma Z+\mu)\}]=\exp\{\mu t\}E[\exp\{t\sigma Z\}]\nonumber\\ &=\exp\{\mu t\}\exp\{\frac{1}{2}\sigma^2t^2\}=\exp\{\mu t+\frac{1}{2}\sigma^2t^2\}\tag7 \end{align}$$

其中$-\infty<t<\infty$。

总结一下就是：

$$\begin{equation} \textrm{当且仅当$Z=\frac{X-\mu}{\sigma}$满足$N(0,1)$分布时，$X$满足$N(\mu,\sigma^2)$分布。}\tag8 \end{equation}$$

$\textbf{例1：}$如果$X$的mgf为

$$M(t)=e^{2t+32t^2}$$

那么$X$满足$\mu=2,\sigma^2=64$的正态分布，进一步，随机变量$Z=\frac{X-2}{8}$满足$N(0,1)$分布。

$\textbf{例2：}$之前我们用标准正态随机变量的矩生成函数推导出它的各阶矩，现在利用这个结论推导出满足$N(0,1)$分布的随机变量$X$的各阶矩。同上面一样，我们可以写成$X=\sigma Z+\mu$，其中$Z$满足$N(0,1)$分布，因此对于所有非负整数$k$，利用二项定理可得

$$\begin{equation} E(X^k)=E[(\sigma Z+\mu)^k]=\sum_{j=0}^k\binom{k}{j}\sigma^jE(Z^j)\mu^{k-j}\tag9 \end{equation}$$

之前给出了$Z$的奇数矩为0，偶数矩由确定的表达式，将其代入$(9)$中即可推导出$X$的矩。

正态pdf$(6)$的图像如图$1$所示，有以下几个性质：$(1)$关于$x=\mu$对称；$(2)$在$x=\mu$处有最大值$1/(\sigma\sqrt{2\pi})$；$(3)$$x$轴是其渐近线；$(4)$$x=\mu\pm\sigma$处为拐点。

文章开头提到，许多实际应用设计到正态分布，特别的，我们很想计算与其有关的概率。然而正态分布的pdf包含$\exp{-s^2}$这些项，因此无法以封闭的形式得到它们的反导，必须使用数值积分方法。因为标准正态分布与正态分布之间的关系$(8)$，我们只需要计算标准正态分布的概率即可，为此我们将标准正态随机变量$Z$的cdf表示为

$$\begin{equation} \Phi(z)=\int_{-\infty}^z\frac{1}{\sqrt{2\pi}}\exp\left\{\frac{-w^2}{2}\right\}dw\tag10 \end{equation}$$

令$X$满足$N(\mu,\sigma^2)$分布，假设我们想计算某个特定$x$的$F_X(x)=P(X\leq x)$，对于$Z=(X-\mu)/\sigma$，表达式$(8)$说明

$$F_X(x)=P(X\leq x)=P(Z\leq\frac{x-\mu}{\sigma})=\Phi\left(\frac{x-\mu}{\sigma}\right)$$

因此我们只需要$\Phi(z)$的数值积分值，正态值通过$Z$的值就能计算出来了。例如，对于特定的$p$，我们想计算$x_p$使得$p=F_X(x_p)$，取$z_p=\Phi^{-1}(p)$，那么根据$(8)$可得$x_p=\sigma z_p+\mu$。

图1

图$2$为标准正态密度，从左到$z_p$的密度函数下面区域面积为$p$；即$\Phi(z_p)=p$。

$\textbf{例3：}$令$X$满足$N(2,25)$，那么通过查表可得

$$\begin{align*} P(0<X<10) &=\Phi\left(\frac{10-2}{5}\right)-\Phi\left(\frac{0-2}{5}\right)\\ &=\Phi(1.6)-\Phi(-0.4)\\ &=0.945-(1-0.655)=0.600 \end{align*}$$

且

$$\begin{align*} P(－8<X<1) &=\Phi\left(\frac{1-2}{5}\right)-\Phi\left(\frac{－8-2}{5}\right)\\ &=\Phi(－0.2)-\Phi(－2)\\ &=(1-0.579)-(1-0.977)=0.398 \end{align*}$$

图2

$\textbf{例4：}$假设$X$满足$N(\mu,\sigma^2)$分布，那么查表可得

$$\begin{align*} P(\mu-2\sigma<X<\mu+2\sigma) &=\Phi\left(\frac{\mu+2\sigma-\mu}{\sigma}\right)-\Phi\left(\frac{\mu-2\sigma-\mu}{\sigma}\right)\\ &=\Phi(2)-\Phi(-2)\\ &=0.977-(1-0.977)=0.954 \end{align*}$$

$\textbf{例5：}$假设某正态分布$N(\mu,\sigma^2)$小于60的概率为百分之十，大于90的概率为百分之五，那么$\mu,\sigma$的值是多少？给定随机变量$X$满足$N(\mu,\sigma^2)$且$P(X\leq 60)=0.10,P(X\leq 90)=0.95$，所以$\Phi[(60-\mu)/\sigma]=0.10,\Phi[(90-\mu)/\sigma]=0.95$，查表可得

$$\frac{60-\mu}{\sigma}=-1.282,\quad\frac{90-\mu}{\sigma}=1.645$$

由此可得$\mu=73.1,\sigma=10.2$。

$\textbf{注1：}$之后我们会常遇到与分布相关的三个参数，$N(\mu,\sigma^2)$中的均值$\mu$称为位置参数，因为改变这个值只是简单的改变了正态pdf中间的位置；即pdf的图像与原来是一样的，除了位置移动了以外。$N(\mu,\sigma^2)$的标准差$\sigma$称为尺度参数，因为小的$\sigma$需要正态pdf又高又窄，而大的$\sigma$需要正态pdf又低又宽，然而不论$\mu,\sigma$是什么值，正态pdf的图像都与钟类似，顺带提一下，伽玛分布的参数$\beta$也称为尺度参数，$\alpha$称为形状参数，因为改变值后其形状发生了变化。二项与泊松分布的$p,\mu$也都是形状参数。

最后介绍两个重要的定理。

$\textbf{定理1：}$如果随机变量$X$满足$N(\mu,\sigma^2),\sigma^2>0$，那么随机变量$V=(X-\mu)^2/\sigma^2$满足$\chi^2(1)$分布。

$\textbf{证明：}$因为$V=W^2$，其中$W=(X-\mu)/\sigma$满足$N(0,1)$，所以对$v\geq 0$，$G(v)$的cdf为

$$G(v)=P(W^2\leq v)=P(-\sqrt{v}\leq W\leq\sqrt{v})$$

即

$$G(v)=2\int_0^{\sqrt{v}}\frac{1}{\sqrt{2\pi}}e^{-w^2/2}dw,0\leq v$$

且

$$G(v)=0,v<0$$

进行变量代换$w=\sqrt{y}$，那么

$$G(v)=\int_0^v\frac{1}{\sqrt{2\pi}\sqrt{y}}e^{-y/2}dy,0\leq v$$

因此连续型随机变量$V$的pdf$g(v)=G^\prime(v)$为

$$\begin{align*} g(v) &=\frac{1}{\sqrt{\pi}\sqrt{2}}v^{1/2-1}e^{-v/2},\ 0<v<\infty\\ &=0\ elsewhere \end{align*}$$

因为$\Gamma(\frac{1}{2})=\sqrt{\pi}$，所以$V$为$\chi^2(1)$。$||$

另一个重要的定理就是独立情况下的加性。

$\textbf{定理2：}$令$X_1,\ldots,X_n$是独立的随机变量，使得$X_i$满足$N(\mu_i,\sigma_i^2)$分布。令$Y=\Sigma_{i=1}^na_iX_i$，其中$a_1,\ldots,a_n$是常数，那么$Y$的分布为$N(\Sigma_{i=1}^na_i\mu_i,\Sigma_{i=1}^na_i^2\sigma_i^2)$

$\textbf{证明：}$利用独立性与正态分布的mgf，对于$t\in R$，$Y$的mgf为

$$\begin{align*} M_Y(t) &=E[\exp{tY}]=E\left[\exp\left\{\sum_{i=1}^nta_iX_i\right\}\right]\\ &=\prod_{i=1}^nE[\exp\{ta_iX_i\}]=\prod_{i=1}^n\exp\{ta_i\mu_i+(1/2)t^2a_i^2\sigma_i^2\}\\ &=\exp\left\{t\sum_{i=1}^na_i\mu_i+(1/2)t^2\sum_{i=1}^na_i^2\sigma_i^2\right\} \end{align*}$$

这就是$N(\Sigma_{i=1}^na_i\mu_i,\Sigma_{i=1}^na_i^2\sigma_i^2)$分布的mgf。$||$

该结论一个简单的推论为$\bar{X}=n^{-1}\Sigma_{i=1}^nX_i$的分布，其中$X_1,X_2,\ldots,X_n$为独立同分布的随机变量。

$\textbf{推论1：}$令$X_1,\ldots,X_n$是独立同分布$N(\mu,\sigma^2)$的随机变量，令$\bar{X}=n^{-1}\Sigma_{i=1}^nX_i$，那么$\bar{X}$满足$N(\mu,\sigma^2/n)$分布。

为了证明这个推论，只需要取$a_i=(1/n),\mu_i=\mu,\sigma_i^2=\sigma^2$，其中$i=1,2,\ldots,n$，然后利用定理2即可。