12.第四章 极限定理(1)

第四章 极限定理(1)

1.依分布收敛

数列极限、函数极限、级数极限都已经用严格的方式证明了，但随机变量是无穷多的样本点映射到实数的，如果有一列随机变量列，要描述它的收敛性，应该采用怎样的定义，是值得讨论的问题。依分布收敛是随机变量收敛的一种定义，它的定义对象主要是刻画随机变量的分布函数，因而叫依分布收敛。

一列随机变量 { ξ n } \{\xi_n\} {ξn​}依分布收敛于$\xi$，需要满足 { ξ n } \{\xi_n\} {ξn​}的分布函数 { F n ( x ) } \{F_n(x)\} {Fn​(x)}弱收敛与$\xi$的分布函数$F(x)$，分布函数弱收敛指的是对于收敛对象$F(x)$的每一个连续点$x\in \mathbb{R}$，随着$n\to \infty$都有$F_n(x)\to F(x)$，即$F$连续点是点点收敛的。将依分布收敛记作${\xi }_n\stackrel{d}{\to }\xi$，分布函数弱收敛记作$F_n\stackrel{w}{\to }F$。

• 分布函数弱收敛，是一个不高的收敛要求，因为它对于$F(x)$的不连续点没有要求，这就给了离散型随机变量很大的宽容性。
• 在说明弱收敛时，一定要指出$F(x)$与 { F n ( x ) } \{F_n(x)\} {Fn​(x)}，因为分布函数列的逐点收敛极限并不一定还是分布函数。
• Helly第一定理指出，分布函数列 { F n ( x ) } \{F_n(x)\} {Fn​(x)}必定有收敛子函数列$F_{n_k}(x)$，能够找到一个$F(x)$使得在$F(x)$的连续点处，$F_{n_k(x)}\to F(x)$。这里$F(x)$不一定是分布函数，但一定满足$0\le F(x)\le 1,x\in \mathbb{R}$。
• Helly第二定理指出，如果${\xi }_n\stackrel{d}{\to }\xi$，则对于$\mathbb{R}$上的有界连续函数，有$E(g({\xi }_n))\to E(g(\xi ))$。也就是说，依分布收敛能保证对于有界连续函数，其随机变量函数期望收敛。值得注意的是，由于$y=x$在$\mathbb{R}$上无界，不一定能保证$E({\xi }_n)\to E(\xi )$。
• Levy连续性定理指出，如果$F_n\stackrel{w}{\to }F$，则相应的特征函数列在关于$t$的任何有界区间内一致收敛于$F$特征函数$f(t)$。
• 逆极限定理指出，如果$f_n(t)\to f(t)$对$t\in \mathbb{R}$成立，且$f(t)$在$t=0$处连续，则$f(t)$一定是某个分布函数$F$的特征函数，且$F_n\stackrel{w}{\to }F$。
• 对于${\xi }_n$与$\xi$，如果它们存在概率密度函数$p_n(x),p(x)$或分布列$p_n(x_i),p(x_i)$，且对于任何$x$或$x_i$，有$p_n(x)\to p(x)$或$p_n(x_i)\to p(x_i)$，则${\xi }_n\stackrel{d}{\to }\xi$。
• 以上结论均不需要证明。

实际上，要证明${\xi }_n\to \xi$，主要用到的条件是概率密度或分布列的收敛或者特征函数的收敛。如果它们是收敛的，就得到随机变量的依分布收敛，从而得到随机变量有界连续函数的收敛。

依分布收敛还有以下重要的性质：

• 若$F_n\stackrel{w}{\to }F$且$F$是连续的分布函数，则$F_n(x)$在$\mathbb{R}$上一致收敛于$F(x)$。
• 对于$\mathbb{R}$上的连续函数$g(x)$，若${\xi }_n\stackrel{d}{\to }\xi$，则$g({\xi }_n)\stackrel{d}{\to }g(\xi )$。
• 设 { a n } , { b n } \{a_n\},\{b_n\} {an​},{bn​}为常数列，且$a_n\to a,b_n\to b,F_n\stackrel{w}{\to }F$，则对任何$F$的连续点$x$，有$F_n(a_{n}x+b_n)\to F(ax+b)$，从而$a_n{\xi }_n+b_n\stackrel{d}{\to }a\xi +b$。
• 如果${\xi }_n\stackrel{d}{\to }\xi ,{\eta }_n\stackrel{d}{\to }c$，则${\xi }_n+{\eta }_n\stackrel{d}{\to }\xi +c,\frac{{\xi }_n}{{\eta }_n}\stackrel{d}{\to }\frac{\xi }{c}(c\ne 0)$。

2.依概率收敛

分布函数刻画了随机变量取值的分布规律，但无法具体到随机变量对应的事件，也就是无法具体到每一个样本点$\omega$的取值$\xi (\omega )$。依概率收敛则更进一步，对样本空间做出了收敛的要求。

一列随机变量${\xi }_n$依概率收敛于$\xi$，指$\forall \epsilon \ge 0$，$\underset{n\to \infty }{\lim }P(|{\xi }_n-\xi |\ge \epsilon )=0$，即不收敛的样本点在样本空间中的概率是0。依概率收敛记作${\xi }_n\stackrel{P}{\to }\xi$。

由于依概率收敛更进一步地要求到样本点上，所以依概率收敛的收敛性比依分布收敛要强，即${\xi }_n\stackrel{P}{\to }\xi$可以推出${\xi }_n\stackrel{d}{\to }\xi$，但反之不成立。然而，如果${\xi }_n\stackrel{d}{\to }c$为常数，则${\xi }_n\stackrel{P}{\to }c$，这是因为如果随机变量列依分布收敛于常数，则$\xi (\omega )\to c$的样本点$\omega$组成的集合${\Omega }^{\prime }$就会趋近于$\Omega$。

• 由此，要证明随机变量列依概率收敛于常数$c$，只要证明其分布函数弱收敛于退化分布的分布函数。不过，更常用的证明方法是Chebyshev不等式，即
  $$P(|{\xi }_n-E{\xi }_n|\ge \epsilon )\le \frac{D{\xi }_n}{{\epsilon }^2}.$$

依概率收敛也有一些常用的性质：

• 若$X_n\stackrel{P}{\to }\xi ,X_n\stackrel{P}{\to }\eta$，则$P(\xi =\eta )=1$。
• 若${\xi }_n\stackrel{P}{\to }\xi$，且$f$是$\mathbb{R}$上的连续函数，则$f({\xi }_n)\stackrel{P}{\to }f(\xi )$。也就是说，对于依概率收敛的情形，一样有连续随机变量函数依概率收敛。
• 如果${\xi }_n\stackrel{P}{\to }\xi ,{\eta }_n\stackrel{P}{\to }\eta$，则${\xi }_n\pm {\eta }_n\stackrel{P}{\to }\xi \pm \eta ,{\xi }_n{\eta }_n\stackrel{P}{\to }\xi \eta$。
• 如果${\xi }_n\stackrel{P}{\to }\xi ,{\eta }_n\stackrel{P}{\to }c$，且${\eta }_n,c\ne 0$，则$\frac{{\xi }_n}{{\eta }_n}\stackrel{P}{\to }\frac{\xi }{c}$。

3.$r$阶平均收敛

$r$阶平均收敛的定义是，对于${\xi }_n$与$\xi$且$E|{\xi }_n{|}^r<\infty ,E|\xi {|}^r<\infty$，如果$E|{\xi }_n-\xi {|}^r\to 0$，则称 { ξ n } \{\xi_n\} {ξn​}$r$阶平均收敛于$\xi$，记作${\xi }_n\stackrel{L_r}{\to }\xi$。$r=2$的情况又称为均方收敛。

如果存在$0<r<\infty$，使得${\xi }_n\stackrel{L_r}{\to }\xi$，则必有${\xi }_n\stackrel{P}{\to }\xi$，这一结论的证明用到Markov不等式，即对于$[0,\infty )$上的单调不减函数$f(x)$，有
$$P(|\xi |>x)\le \frac{Ef(|\xi |)}{f(x)}.$$
这一结论的证明可以仿照Chebyshev不等式，即
$$\begin{array}{rl}P(|\xi |>x)=& {\int }_{|t|>x}dF(t)\\ \le & {\int }_{|t|>x}\frac{f(|t|)}{f(x)}dF(t)\\ \le & {\int }_{-\infty }^{\infty }\frac{f(|t|)}{f(x)}dF(t)\\ =& \frac{Ef(|\xi |)}{f(x)}.\end{array}$$
再令$f(x)=x^r$，对$|{\xi }_n-\xi |$运用Markov不等式即可，有
$$P(|{\xi }_n-\xi |>x)\le \frac{E|{\xi }_n-\xi {|}^r}{x^r}\to 0.$$

4.几乎必然收敛

依概率收敛是针对样本空间而言的，而随机变量更具体些，是定义到每一个样本点上的，所以如果对几乎每一个样本点建立点收敛性，那么也可以定义随机变量的收敛，此时称为以概率1收敛。

以概率1收敛（几乎必然收敛）的定义是，对于${\xi }_n$与$\xi$，它们共用一个概率空间$\Omega$，如果对于存在一个${\Omega }_0\in \mathcal{F}$，使得$P({\Omega }_0)=1$，也就是对一个概率为1的样本点集合，$\forall \omega \in {\Omega }_0$，有${\xi }_n(\omega )\to \xi (\omega )$，则称${\xi }_n$几乎必然收敛于$\xi$，记作${\xi }_n\to \xi \text{a.s.}$。

以概率1收敛是比依概率收敛更强的收敛性定义，也是最强的收敛定义，换言之，如果${\xi }_n\to \xi \text{a.s.}$，则必有${\xi }_n\stackrel{P}{\to }\xi$，但反之不成立。