11.第三章 数字特征与特征函数(4)

第三章 数字特征与特征函数(4)

1.特征函数

随机变量的特征函数，顾名思义反映随机变量的特征。前面提到的随机变量数字特征，虽然可以反映一部分随机变量的特征，但并不能完全刻画一个随机变量，也就是说具有相同期望和方差的随机变量可能是不同的。典型例子就是不同分布随机变量的标准化变量具有相同的期望和方差，但它们显然不一样。

这里提到的特征函数就是和分布函数一样，能够完全确定随机变量的函数，但又具有良好的性质。随机变量$\xi$的特征函数定义是：
$$f_{\xi }(t)=E{e}^{it\xi },t\in \mathbb{R}.$$
在不引起混淆的情况下可以省略下标。这里要对特征函数作一些解释，首先$e^{it\xi }$也是一个随机变量，不同的是它是复随机变量$e^{it\xi }=\cos (t\xi )+i\sin (t\xi )$。我们令复随机变量$X+iY$的期望为$EX+iEY$，是一个负数，这样，$f_{\xi }(t)$作为一个关于$t$的随机变量的期望就有了定义。并且由于$E|e^{it\xi }|=1$，所以对任意$\xi$和$t\in \mathbb{R}$，$E{e}^{it\xi }$都是有意义且$\le 1$的。

由于$e^{it\xi }$本身可以看作一个随机变量函数，所以其期望为${\int }_{-\infty }^{\infty }{e}^{itx}dF(x)$。

一般情况下，特征函数是一个将实数映射到复数域上的函数，并且具有以下特征：

1. $|f(t)|\le f(0)=1$，这是因为$|f(t)|=|{\int }_{-\infty }^{\infty }{e}^{itx}dF(x)|\le {\int }_{-\infty }^{\infty }|e^{itx}|dF(x)=1$。

2. $f(-t)=\overline{f(t)}$。

3. $f(t)$在$\mathbb{R}$上一致连续。

4. $f(t)$是非负定的，即$\forall n\in {\mathbb{N}}^{+}$，实数列$t_1,\cdots ,t_n$与复数列${\lambda }_1,\cdots ,{\lambda }_n$，有
   $$\sum _{k=1}^n\sum _{j=1}^{n}f(t_k-t_j){\lambda }_k\overline{{\lambda }_j}\ge 0.$$
   这个性质是特征函数的最本质属性，但难以验证。任意非负定、连续且$f(0)=1$的函数$f(t)$都是一个随机变量的特征函数。

5. 如果有独立的随机变量列${\xi }_1,\cdots ,{\xi }_n$，它们的特征函数分别是$f_1(t),\cdots ,f_n(t)$，则$\sum _{i=1}^n{\xi }_i$的特征函数是$f(t)=\prod _{i=1}^n{f}_i(t)$。这个性质是最常用的性质。

6. 若$E{\xi }^n$存在，则$f(t)$是$n$次可微的，且当$k\le n$时，有
   $$f^{(k)}(0)=i^{k}E{\xi }^k.$$
   这个性质常用于求一些不便积分的随机变量的高阶矩，如正态分布。

7. 设$\eta =a\xi +b$，则$f_{\eta }(t)=e^{ibt}{f}_{\xi }(at)$。这是由于
   $$f_{\eta }(t)=E{e}^{it(a\xi +b)}=e^{itb}E{e}^{i(at)\xi }=e^{ibt}{f}_{\xi }(at).$$

唯一性定理：分布函数可由特征函数唯一确定，有
$$F(x)=\underset{y\to \infty }{\lim }\underset{T\to \infty }{\lim }\frac{1}{2\pi }{\int }_{-T}^T\frac{e^{-ity}-e^{-itx}}{it}f(t)dt,$$
当随机变量是连续型时，又有
$$p(x)=\frac{1}{2\pi }{\int }_{-\infty }^{\infty }{e}^{-itx}f(t)dt.$$
与$f(t)={\int }_{-\infty }^{\infty }{e}^{itx}p(x)dx$分别称为逆Fourier变换与Fourier变换。

当随机变量是离散型时，类似的结论是
$$p_k=\frac{1}{2\pi }{\int }_0^{2\pi }{e}^{itk}f(t)dt.$$
以上求值公式并不常用，我们不会经常运用逆Fourier变换求原函数的概率分布。但有一些典型的特征函数以及它们的复合形态是需要记住的。

2.随机变量可加性

对一些特殊的分布族，它们的独立随机变量具有对部分参数的可加性。具有可加性的分布族如下：

• 二项分布：若$X\sim B(n_1,p),Y\sim B(n_2,p)$且$X,Y$独立，则$X+Y\sim B(n_1+{,}_2,p)$。也就是说二项分布服从对试验次数$n$的可加性。
• 正态分布：若$X\sim N(a_1,{\sigma }_1^2),Y\sim N(a_2,{\sigma }_2^2)$且$X,Y$独立，则$X+Y\sim N(a_1+a_2,{\sigma }_1^2+{\sigma }_2^2)$。也就是说正态分布服从对均值与方差的可加性，这个结论非常重要，它说明独立正态变量的有限和差仍然是正态随机变量（将0视作$N(0,0)$）。
• 泊松分布：若$X\sim P({\lambda }_1),Y\sim P({\lambda }_2)$且$X,Y$独立，则$X+Y\sim P({\lambda }_1+{\lambda }_2)$。也就是说泊松过程服从对速率的可加性，这个结论在随机过程中应用广泛。
• $\Gamma$分布：若$X\sim \Gamma (n_1,\lambda ),Y\sim \Gamma (n_2,\lambda )$且$X,Y$独立，则$X+Y\sim \Gamma (n_1+n_2,\lambda )$。也就是说$\Gamma$分布服从对形状参数的可加性。

除了以上四种外，还有卡方分布具有对自由度的可加性，由于卡方分布在数理统计中应用较多，在这里不多涉及。要证明随机变量的可加性，要运用卷积公式，设$Z=X+Y$，则
$$\begin{gathered} P(Z=k)=\sum _{i=0}^{k}P(X=i,Y=k-i)\stackrel{X.Y独立}{=}\sum _{i=0}^{k}P(X=i)P(Y=k-i), \\ {p}_Z(z)={\int }_{-\infty }^{\infty }{p}_{X,Y}(x,z-x)dx\stackrel{X,Y独立}{=}{\int }_{-\infty }^{\infty }{p}_X(x)p_Y(z-x)dx. \end{gathered}$$

3.常用分布的特征函数

离散型随机变量

0-1分布，成功概率$p$：
$$f(t)=p{e}^{it\cdot 1}+q{e}^{it\cdot 0}=p{e}^{it}+q.$$
二项分布$B(n,p)$：
$$\begin{array}{rl}f(t)=& \sum _{k=0}^n{e}^{itk}\cdot C_n^k{p}^k{q}^{n-k}\\ =& \sum _{k=0}^n{C}_n^k(p{e}^{it}{)}^k{q}^{n-k}\\ =& (p{e}^{it}+q{)}^n.\end{array}$$

• 从这里也可以看出二项分布的特征函数是两点分布的$n$次方，这是因为二项分布可以看成$n$个独立同分布的成功概率$p$两点分布的加和。

泊松分布$P(\lambda )$：
$$\begin{array}{rl}f(t)=& \sum _{k=0}^{\infty }{e}^{itk}\frac{{\lambda }^k}{k!}{e}^{-\lambda }\\ =& e^{-\lambda }\sum _{k=0}^{\infty }\frac{(\lambda e^{it}{)}^k}{k!}\\ =& e^{-\lambda }\cdot e^{\lambda e^{it}}\\ =& e^{\lambda (e^{it}-1)}.\end{array}$$
几何分布$G(p)$：
$$\begin{array}{rl}f(t)=& \sum _{k=1}^{\infty }{e}^{itk}p(1-p{)}^{k-1}\\ =& \frac{p}{1-p}\sum _{k=1}^n[(1-p)e^{it}{]}^k\\ =& \frac{p}{1-p}\cdot \frac{(1-p)e^{it}}{1-(1-p)e^{it}}\\ =& \frac{p{e}^{it}}{1-(1-p)e^{it}}.\end{array}$$

连续型随机变量

均匀分布$U(a,b)$：
$$f(t)={\int }_a^b{e}^{itx}\frac{1}{b-a}dx=\frac{e^{ibt}-e^{iat}}{(b-a)it}.$$
正态分布$N(a,{\sigma }^2)$：
f ( t ) = ∫ − ∞ ∞ e i t x 1 2 π σ e − ( x − a ) 2 2 σ 2 d x = ∫ − ∞ ∞ 1 2 π σ exp ⁡ { − x 2 − 2 ( a + σ 2 i t ) x + a 2 2 σ 2 } d x = ∫ − ∞ ∞ 1 2 π σ exp ⁡ { − [ x − ( a + σ 2 i t ) ] 2 − 2 a σ 2 i t + σ 4 t 2 2 σ 2 } d x = ∫ − ∞ ∞ 1 2 π σ exp ⁡ { − [ x − ( a + σ 2 i t ) ] 2 2 σ 2 } e i a t − 1 2 σ 2 t 2 d x ∗ = e i a t − 1 2 σ 2 t 2 . \begin{aligned} f(t)=&\int_{-\infty}^\infty e^{itx}\frac{1}{\sqrt {2\pi}\sigma}e^{-\frac{(x-a)^2}{2\sigma^2}}dx\\ =&\int_{-\infty}^\infty \frac{1}{\sqrt{2\pi \sigma}}\exp\{-\frac{x^2-2(a+\sigma^2it)x+a^2}{2\sigma^2}\}dx\\ =&\int_{-\infty}^\infty \frac{1}{\sqrt{2\pi}\sigma}\exp\{-\frac{[x-(a+\sigma^2it)]^2-2a\sigma^2it+\sigma^4t^2}{2\sigma^2}\}dx\\ =&\int_{-\infty}^\infty \frac{1}{\sqrt{2\pi}\sigma}\exp\{-\frac{[x-(a+\sigma^2it)]^2}{2\sigma^2}\}e^{iat-\frac12\sigma^2t^2}dx\\ *=&e^{iat-\frac12\sigma^2t^2}. \end{aligned} f(t)====∗=​∫−∞∞​eitx2π ​σ1​e−2σ2(x−a)2​dx∫−∞∞​2πσ ​1​exp{−2σ2x2−2(a+σ2it)x+a2​}dx∫−∞∞​2π ​σ1​exp{−2σ2[x−(a+σ2it)]2−2aσ2it+σ4t2​}dx∫−∞∞​2π ​σ1​exp{−2σ2[x−(a+σ2it)]2​}eiat−21​σ2t2dxeiat−21​σ2t2.​

星号处，$e^{iat-\frac{1}{2}{\sigma }^2{t}^2}$在积分内可以视为常数提到外面，剩余部分 1 2 π σ exp ⁡ { − [ x − ( a + σ 2 i t ) ] 2 2 σ 2 } \frac{1}{\sqrt{2\pi}\sigma}\exp\{-\frac{[x-(a+\sigma^2it)]^2}{2\sigma^2}\} 2π ​σ1​exp{−2σ2[x−(a+σ2it)]2​}实际上是$N(a+{\sigma }^{2}it,\sigma )$的密度函数，所以积分值为$1$。

• 正态分布的特征函数表达式求起来较麻烦但用处较大，建议直接记忆。

指数分布$E(\lambda )$：
$$\begin{array}{rl}f(t)=& {\int }_0^{\infty }{e}^{itx}\lambda e^{-\lambda x}dx\\ =& \lambda {\int }_0^{\infty }{e}^{(it-\lambda )x}dx\\ =& \frac{\lambda }{\lambda -it}.\end{array}$$

4.其他分布的简要介绍

1. 帕斯卡分布：帕斯卡分布模型是基于成功概率为$p$的0-1分布而言，直到成功$r$次所需要的实验次数。如果实验次数为$k$时恰好迎来第$r$次成功，则在前$k-1$次实验中需成功$r-1$次，且最后一次要成功。于是帕斯卡分布的分布列为
   $$P(X=k)=C_{k-1}^{r-1}(1-p{)}^{k-r}{p}^r,k=r,r+1,\cdots ,\infty .$$
   其期望是
   $$\begin{array}{rl}EX=& \sum _{k=r}^{\infty }k{C}_{k-1}^{r-1}(1-p{)}^{k-r}{p}^r\\ =& r\sum _{k=r}^{\infty }{C}_k^r(1-p{)}^{k-r}{p}^r\\ \ast =& \frac{r}{p}.\end{array}$$

   星号处，$C_k^r(1-p{)}^{k-r}{p}^r$可以看成$k$次实验中成功$r$次的概率，那么$C_k^r(1-p{)}^{k-r}{p}^{r+1}$就可以看成第$k+1$次实验才成功第$r+1$次的概率，也就是$k+1=r+1,\cdots ,\infty$是一个完备事件组，概率和为$1$。

   • 可以看到，$r=1$时的帕斯卡分布就是几何分布。
   • 《概率论》（林正炎、苏中根、张立新编著）中对期望的写法出了错误。

   帕斯卡分布可以看成$r$个独立几何分布的和，所以期望、方差、特征函数都可以通过几何分布的可加性计算。

2. 负二项分布：负二项分布是基于成功概率为$p$的0-1分布而言，直到成功次数达到$r$次时失败次数$k$的分布。也就是说，在实验停止时一共进行了$k+r$次实验，最后一次必定成功，前面的$k+r-1$次实验中有$k$次失败。记$q=1-p$，于是负二项分布的分布列为
   $$P(X=k)=C_{r+k-1}^k{p}^r{q}^k,k=0,1,\cdots ,\infty .$$
   其期望是
   $$\begin{array}{rl}EX=& \sum _{k=0}^{\infty }{C}_{r+k-1}^{k}k{p}^r{q}^k\\ =& r\sum _{k=1}^{\infty }{C}_{r+k-1}^{k-1}{p}^r{q}^k\\ =& \frac{rq}{p}\sum _{k=1}^{\infty }{C}_{r+k-1}^{k-1}{p}^{r+1}{q}^{k-1}\\ \ast =& \frac{rq}{p}.\end{array}$$

   这里$C_{r+k-1}^{k-1}{p}^{r-1}{q}^{k-1}$可以看成第$r+1$次成功时失败次数为$k-1$的概率，而$k-1=0,1,\cdots ,\infty$是一个完备事件组，即$k=1,2,\cdots ,\infty$，所以这个求和结果为$1$。

   • 可以看到，负二项分布与帕斯卡分布，仅在于是否计算成功次数$r$，所以如果$X$服从帕斯卡分布，$Y$服从负二项分布，且成功概率相同，应该有$X=Y+r$，自然有$EY=EX-r$。

3. ${\chi }_n^2$分布：叫做卡方分布，是统计学三个重要分布之一，$n$为其自由度。它的定义是$n$个独立且同分布于$N(0,1)$的随机变量平方和，即${\xi }_i\sim N(0,1)$且相互独立，${\chi }^2=\sum _{i=1}^n{\xi }_i^2$。它的密度函数等同于$\Gamma (\frac{n}{2},\frac{1}{2})$。

4. $t$分布：若$\xi \sim N(0,1),\eta \sim {\chi }_n^2$且独立，则$T=\frac{\xi }{\sqrt{\eta /n}}$服从$T$分布，$n$为其自由度。特别地，当$n\to \infty$时，$t$分布趋近于标准正态分布；当$n=1$时，$t$分布就是Cauchy分布。

5. $F$分布：若$X\sim {\chi }_m^2,Y\sim {\chi }_n^2$且独立，则$F=\frac{X/m}{Y/n}$服从$F_{m,n}$分布，$m,n$为其自由度（分子在前）。