漫步数理统计三十一——依分布收敛

上篇博文我们介绍了依概率收敛的概念，利用着概念我们可以说统计量收敛到一个参数，而且在许多情况下即便不知道统计量的分布函数也能说明收敛。但是统计量有多接近估计量呢？本篇博文讲的收敛就回答了这个问题。

$\textbf{定义1：}$(依分布收敛)$\{X_n\}$是一系列随机变量，$X$是随机变量。$F_{X_n},F_X$分别是$X_n,X$的cdf，令$C(F_x)$表示$F_X$连续的点集合。我们说$X_n$依分布收敛到$X$，如果

$$\lim_{n\to\infty}F_{X_n}(x)=F_X(x),for\ all\ x\in C(F_X)$$

表示为

$$X_n\overset{D}\to X$$

$\textbf{注1：}$在统计与概率论中，依概率收敛与依分布收敛称为渐进理论，我们经常说$X$是序列$\{X_n\}$的渐进分布或极限分布，或者我们不说$X_n\overset{D}\to X$，其中$X$满足标准正态分布，我们写为

$$X_n\overset{D}\to N(0,1)$$

显然右边是一个分布而不是随机变量，但是这么写非常方便。另外我们说$X_n$满足极限标准正态分布意味着$X_n\overset{D}\to X$，其中$X$满足标准正态分布，或等价的$X_n\overset{D}\to N(0,1)$。

之所以之考虑连续点也是有原因的，考虑下面的例子。$X_n$是随机变量，所有的质量在点$\frac{1}{n}$处，其他地方均为0。如图所示$X_n$的质量收敛到0。在不连续点处，$\lim F_{X_n}(0)=0\neq 1=F_X(0)$；而在连续点处(即$x\neq0$)，$\lim F_{X_n}(x)=F_X(x)$，因此根据定义$X_n\overset{D}\to X$。

依概率收敛说明的是一系列随机变量$X_n$接近另一个随机变量$X$，另一方面，依概率收敛只关心cdf$F_{X_n},F_X$。举个简单的例子，$X$是pdf为$f_X(x)$的随机变量，它关于0对称；即$f_X(-x)=f_X(x)$。那么很容易说明$-X$的密度也是$f_X(x)$，所以$X,-X$you相同的分布，定义随机变量$X_n$的序列为

$$\begin{equation} X_n= \begin{cases} X&n\textrm{为奇数}\\ -X&n\textrm{为偶数} \end{cases} \end{equation}$$

显然对所有的$x,F_{X_n}(x)=F_X(x)$，所以$X_n\overset{D}\to X$，另一方面序列$X_n$不接近$X$，尤其是在概率上$X_n\not\to X$

$\textbf{例1：}$$\bar{X}_n$的cdf为

$$F_n(\bar{x})=\int_{-\infty}^{\bar{x}}\frac{1}{\sqrt{1/n}\sqrt{2\pi}}e^{-nw^2}/2dw$$

利用变量代换可得

$$F_n(\bar{x})=\int_{-\infty}^{\sqrt{n}\bar{x}}\frac{1}{\sqrt{2\pi}}e^{-v^2/2}dv$$

显然

$$\lim_{n\to\infty}F_n(\bar{x})= \begin{cases} 0&\bar{x}<0\\ \frac{1}{2}&\bar{x}=0\\ 1&\bar{x}>0 \end{cases}$$

函数

$$F(\bar{x})= \begin{cases} 0&\bar{x}<0\\ 1&\bar{x}\geq 0 \end{cases}$$

是cdf且在所有$F(\bar{x})$的连续点$\lim_{n\to\infty}F_n(\bar{x})=F(\bar{x})$，而在不连续点$\bar{x}=0,\lim_{n\to\infty}F_n(0)\neq F(0)$。

$\textbf{例2：}$即便序列$X_1,X_2,X_3,\ldots$依分布收敛到随机变量$X$，我们一般不能通过取$X_n$pmf的极限确定$X$的分布，考虑下面的pmf

$$p_n(x)= \begin{cases} 1&x=2+n^{-1}\\ 0&elsewhere \end{cases}$$

显然对所有的$x,\lim_{n\to\infty}p_n(x)=0$，这说明对$n=1,2,3,\ldots,X_n$不会依概率收敛，然而$X_n$的cdf为

$$F_n(x)= \begin{cases} 0&x<2+n^{-1}\\ 1&x\geq 2+n^{-1} \end{cases}$$

且

$$\lim_{n\to\infty}F_n(x)= \begin{cases} 0&x\leq 2\\ 1&x>2 \end{cases}$$

因为

$$F(x)= \begin{cases} 0&x<2\\ 1&x\geq 2 \end{cases}$$

是cdf且在$F(x)$的所有连续点处$\lim_{n\to\infty}F_n(x)=F(x)$，所以$X_1,X_2,X_3,\ldots$依分布收敛到cdf为$F(x)$的随机变量。

上面的例子说明一般而言我们不能考虑pmf或pdf来确定极限分布，但是在某些条件下确实可以的，如下例所示。

$\textbf{例3：}$$T_n$满足自由度为$n$的$t$分布，$n=1,2,3,\ldots$，所以它的cdf为

$$F_n(t)=\int_{-\infty}^t\frac{\Gamma[(n+1)/2]}{\sqrt{n\pi}\Gamma(n/2)}\frac{1}{(1+y^2/n)^{(n+1)/2}}dy$$

其中积分函数为$T_n$的pdf$f_n(y)$，因此

$$\lim_{n\to\infty}F_n(t)=\lim_{n\to\infty}\int_{-\infty}^tf_n(y)dy=\int_{-\infty}^t\lim_{n\to\infty}f_n(y)dy$$

由勒贝格控制收敛定理可知当$|f_n(y)|$被一个可积函数控制时，积分与极限元算可以互换。因为

$$|f_n(y)|\leq 10f_1(y)$$

且对所有实数$t$

$$\int_{-\infty}^t10f_1(y)dy=\frac{10}{\pi}\arctan t<\infty$$

因此我们通过求出$T_n$pdf的极限求出极限分布。即

$$\begin{align*} \lim_{n\to\infty}f_n(y) &=\lim_{n\to\infty}\left\{\frac{\Gamma[(n+1)/2]}{\sqrt{n/2}\Gamma(n/2)}\right\}\lim_{n\to\infty}\left\{\frac{1}{(1+y^2/n)^{1/2}}\right\}\\ &\quad\times\lim_{n\to\infty}\left\{\frac{1}{\sqrt{2\pi}}\left[\left(1+\frac{y^2}{n}\right)\right]^{-n/2}\right\} \end{align*}$$

利用初等微积分的事实

$$\lim_{n\to\infty}\left(1+\frac{y^2}{n}\right)^n=e^{y^2}$$

第三部分显然时标准正态分布的pdf，第二项极限明显为1，根据斯特林公式可知第一项极限也为1，所以我们有

$$\lim_{n\to\infty}F_n(t)=\int_{-\infty}^t\frac{1}{\sqrt{2\pi}}e^{-y^2/2}dy$$

因此$T_n$满足极限标准正态分布。

$\textbf{注2：}$为了简化下面定理的证明，我们利用序列的$\varliminf,\varlimsup$。具体细节这里不再讨论了，只给出理解下面证明所需要的一些性质，令$\{a_n\}$是实数序列且定义两个子序列为

$$\begin{align*} b_n&=\sup\{a_n,a_{n+1},\ldots\},n=1,2,3,\ldots\\ c_n&=\inf\{a_n,a_{n+1},\ldots\},n=1,2,3,\ldots \end{align*}$$

$\{c_n\}$是非减序列，$\{b_n\}$是非增序列，因此他们的极限存在(可能是$\pm\infty$)，我们分别用$\varliminf_{n\to\infty}a_n,\varlimsup_{n\to\infty}a_n$表示，进一步对所有$n,c_n\leq a_n\leq b_n$，如果$\varliminf_{n\to\infty}a_n=\varlimsup_{n\to\infty}a_n$，那么$\lim_{n\to\infty}a_n$存在且为$\lim_{n\to\infty}a_n=\varlimsup_{n\to\infty}a_n$。

假设$\{p_n\}$是概率序列且$\varlimsup_{n\to\infty}p_n=0$，因为$0\leq p_n\leq\sup\{p_n,p_{n+1},\ldots\}$，所以我们有$\lim_{n\to\infty}p_n=0$。另外对于任意序列$\{a_n\},\{b_n\}$，满足$\varlimsup_{n\to\infty}(a_n+b_n)\leq\varlimsup_{n\to\infty}a_n+\varlimsup_{n\to\infty}b_n$。

如下面定理说述，依分布收敛比依概率收敛要弱，所以依分布收敛常被称为弱收敛。

$\textbf{定理1：}$如果$X_n$依概率收敛到$X$，那么$X_n$依分布收敛到$X$。

$\textbf{证明：}$令$x$是$F_X(x)$的连续点，令$\epsilon>0$我们有

$$\begin{align*} F_{X_n}(x) &=P[X_n\leq x]\\ &=P[\{X_n\leq x\}\cap\{|X_n-X|<\epsilon\}]+P[\{X_n\leq x\}\cap\{|X_n-X|\geq\epsilon\}]\\ &\leq P[X\leq x+\epsilon]+P[|X_n-X|\geq\epsilon] \end{align*}$$

基于上面的不等式以及事实$X_n\overset{P}\to X$，我们可以看出

$$\varlimsup_{n\to\infty}F_{X_n}(x)\leq F_X(x+\epsilon)$$

为了得到下界，我们用同样的处理方式得到

$$P[X_n>x]\leq P[X\geq x-\epsilon]+P[|X_n-X|\geq\epsilon]$$

因此

$$\varliminf_{n\to\infty}F_{X_n}(x)\geq F_X(x-\epsilon)$$

根据$\varliminf,\varlimsup$的关系可得

$$F_X(x-\epsilon)\leq\varliminf_{n\to\infty}F_{X_n}(x)\leq\varlimsup_{n\to\infty}F_{X_n}(x)\leq F_X(x+\epsilon)$$

令$\epsilon\downarrow0$即得到答案。$||$

考虑$(1)$中的随机变变量序列$\{X_n\}$，$X_n\overset{D}\to X,X_n\overset{P}\neq X$，所以一般情况下上面定理的逆不成立。然而如果$X$退化成下面定理的时候就成立。

$\textbf{定理2：}$如果$X_n$依分布收敛到常数$b$，那么$X_n$依概率收敛到$b$。

$\textbf{证明：}$令$\epsilon>0$给定，那么

$$\lim_{n\to\infty}P[|X_n-b|\leq\epsilon]=\lim_{n\to\infty}F_{X_n}(b+\epsilon)-\lim_{n\to\infty}F_{X_n}(b-\epsilon-0)=1-0=1$$

得证。$||$

下面定理非常有用：

$\textbf{定理3：}$假设$X_n$依分布收敛到$X$，$Y_n$依概率收敛到0，那么$X_n+Y_n$依分布收敛到$X$。

接下来给出两个一般的结论。

$\textbf{定理4：}$假设$X_n$依分布收敛到$X$且$g$在支撑$X$上是连续函数，那么$g(X_n)$依分布收敛到$g(X)$。

$\textbf{定理5：}$$X_n,X,A_n,B_n$是随机变量且$a,b$是常数，如果$X_n\overset{D}\to X,A_n\overset{P}\to a,B_n\overset{P}\to b$，那么

$$A_n+B_nX_n\overset{D}\to a+bX$$

与依分布收敛相关的另一个有用概念为随机变量序列依概率有界。

首先考虑cdf为$F_X(x)$的随机变量$X$，那么给定$\epsilon>0$，我们可以用下面的方式界定$X$。因为$F_X$的下极限是0而上极限是1，所以我们可以找到$\eta_1,\eta_2$，使得

$$F_X(x)<\epsilon/2\ for\ x\leq\eta_1,\ F_X(x)>1-(\eta/2)\ for\ x\geq\eta_2$$

令$\eta=\max\{|\eta_1|,|\eta_2|\}$，那么

$$\begin{equation} P[|X|\leq\eta]=F_X(\eta)-F_X(-\eta-0)\geq1-(\epsilon/2)-(\epsilon/2)=1-\epsilon \end{equation}$$

因此无界的随机变量(例如$X$是$N(0,1)$)用上面的方式也是有界的，这是非常有用的概念，定义如下。

$\textbf{定义2：}$(依概率有界)我们说随机变量序列$\{X_n\}$依概率有界，如果对所有$\epsilon>0$，存在常数$B_{\epsilon}>0$以及整数$N_{\epsilon}$使得

$$n\geq N_{\epsilon}\Rightarrow P[|X_n|\leq B_{\epsilon}]\geq 1-\epsilon$$

现在考虑一个随机变量序列$\{X_n\}$，它收敛到cdf为$F$的随机变量$X$。令$\epsilon>0$且选择$\eta$使得$(2)$对$X$成立，我们可以始终选出$\eta$使得$\eta,-\eta$是$F$的连续点，那么我们有

$$\lim_{n\to\infty}P[|X_n|\leq\eta]\geq\lim_{n\to\infty}F_{X_n}(\eta)-\lim_{n\to\infty}F_{X_n}(-\eta-0)=F_X(\eta)-F_X(-\eta)\geq 1-\epsilon$$

为了更精确，我们选择大的$N$使得$n\geq N$时$P[|X_n|\leq \eta]\geq 1-\epsilon$。

$\textbf{定理6：}$$\{X_n\}$是随机变量序列且$X$是随机变量，如果依分布$X_n\to X$，那么$\{X_n\}$依概率有界。

但是上面的逆一般不成立。可以将依概率有界的序列看成$|X_n|$的概率质量不会大到$\infty$。

$\textbf{定理7：}$$\{X_n\}$是依概率有界的随机变量序列，$\{Y_n\}$是依概率收敛到0的随机变量序列，那么

$$X_nY_n\overset{P}\to0$$

$\textbf{证明：}$令$\epsilon>0$，选择$B_{\epsilon}>0$和整数$N_{\epsilon}$使得

$$n\geq N_{\epsilon}\Rightarrow P[|X_n|\leq B_{\epsilon}]\geq 1-\epsilon$$

那么

$$\begin{align*} \varlimsup_{n\to\infty}P[|X_nY_n|\geq\epsilon] &\leq\varlimsup P[|X_nY_n|\geq\epsilon,|X_n|\leq B_{\epsilon}]\\ &\quad +\varlimsup_{n\to\infty}P[|X_nY_n|\geq\epsilon,|X_n|>B_{\epsilon}]\\ &\leq\varlimsup_{n\to\infty}P[|Y_n|\geq\epsilon/B_{\epsilon}]+\epsilon=\epsilon \end{align*}$$

得证。$||$