【初等概率论】 05

1. 极限定理

　　至现在为止，概率论仿佛还算简单，只是把一些直观的东西用数学语言表达出来而已。当有了实变和泛函的基础后，你会发现概率论只是分析学的一个普通特例，故更丰富的内容还需我们提升之后再去欣赏。概率论中很多极限问题，一度成为其核心课题，它们不仅发掘了更多有趣的结论，更是解释了很多深层的随机现象。极限定理需要很多高级的分析学工具，故这里仅做结论性的介绍，一是体会高级概率论的无穷奥妙，二是为数理统计准备必要的结论。

1.1 大数定律

　　我们还是要回答最初的问题：概率究竟什么？我们建立的概率系统与直觉上的概率是否兼容？起初我们就把事件和固定的数值挂钩，就假定了随机事件有一个不变的属性和值。这个值原本就是用来描述随机现象的发生频率，现在可以来验证概率能否描述频率，这对概率论的自洽性非常重要。

1.1.1 弱大数定律

　　概率就是事件到实数的映射，一个事件的概率\(p\)应当与大量重复试验中事件出现频率\(\dfrac{\mu_n}{n}\)接近。那什么是接近？怎么度量这个接近？频率序列是一个无限的随机变量序列，说它接近\(p\)，比较直观的定义当然是类似极限的定义，即对任意\(\varepsilon>0\)，都要有式（1）成立。这个现象被称为伯努利大数定律，它标志着大数定律研究的开始，后续的研究都始于这里。

\[\lim\limits_{n\to\infty}P\left\{\left|\dfrac{\mu_n}{n}-p\right|<\varepsilon\right\}=1\tag{1}\]

　　从随机变量的角度看，频率其实是\(n\)个独立伯努利变量的平均值，我们自然想把大数定律推广到独立同分布随机变量的平均值，看它是不是接近分布的期望。甚至更一般地，可以讨论任意随机变量序列\(\xi_1,\xi_2,\cdots\)，看它们的平均值是不是接近平均期望（式（2））。

\[\lim\limits_{n\to\infty}P\left\{\dfrac{1}{n}\sum\limits_{k=1}^n|\xi_k-E\xi_k|<\varepsilon\right\}=1\tag{2}\]

　　对此，切比雪夫证明了：当\(\xi_i\)两两不相关，且方差一致有界时有式（2）成立，它被称为切比雪夫大数定律。证明中首次应用了切比雪夫不等式，从此矩不等式成为研究大数定律的重要手段。该定律有两个简单的变形，一个是独立不同伯努利分布下的泊松大数定律，另一个是只需条件\(D(\sum\xi_k)/n^2\to 0\)的马尔科夫大数定律，这些证明都很简单，请自行完成。

　　在独立同分布的场合，辛钦大数定律甚至不要求方差存在，这进一步放宽了大数定律的条件，它在数理统计中非常重要。证明需要用到著名的连续性定理，大概是说如果分布函数收敛于另一个分布函数，则它们的特征函数也收敛于特征函数。论证中还要用到特征函数与分布函数的唯一确定性，特征函数的威力由此可见一斑。

1.1.2 强大数定律

　　对于式（1）的定义，应该没有太多的异议和怀疑，但仔细看式（2），有个地方值得我们商讨。式中对某个表达式取了概率，一向严格的你不禁要问：这个概率对应的事件是什么？它的样本空间是什么？两个随机变量能随意地加减吗？运算的意义是什么？这个思考是非常必要的，而且也是对概率论的认识的一次提升，由直观数学向严格的分析数学进行转变。更具体地，我们是要严格定义随机变量序列\(\{\xi_n\}\)收敛于另一个随机变量\(\xi\)。

　　判断收敛离不开运算和度量，但要使得运算\(\xi_n-\xi\)有意义，必须是\(\xi_n,\xi\)来自同一个概率空间。这样来看，不等式\(|\xi_n(\omega)-\xi(\omega)|<\varepsilon\)就有了确定的意义，它表示满足条件的样本点，且所有这样的样本点可以组成事件（考虑联合分布）。对这样的事件就可以用概率度量，因此我们就有了式（3）随机变