三个极限定理与四种收敛性

Intro

主要包括两个方面：极限定理们（intro部分以Bernoulli试验为例）和收敛性。极限定理包括：中心极限定理（CLT），强大数定律（SLLN），弱大数定律（WLLN）。收敛性包括：依概率收敛、依分布收敛、几乎必然收敛、r阶收敛。

依概率收敛

设${\xi }_1,\cdots ,{\xi }_n$是一列随机变量，$\xi$是随机变量，如果对$\forall ϵ>0$都有
$$\underset{n\to \infty }{\lim }P(|{\xi }_n-\xi |\ge ϵ)=0$$
则称${\xi }_n$依概率收敛到$\xi$，记为${\xi }_n\stackrel{P}{\to }\xi .$

定义中的$\ge ϵ$可以改为$>ϵ$。原因如下：

如果${\xi }_n$依概率收敛到$\xi$，由于
$$P(|{\xi }_n-\xi |\ge ϵ)\ge P(|{\xi }_n-\xi |>ϵ)\ge 0$$
故
$$\underset{n\to \infty }{\lim }P(|{\xi }_n-\xi |>ϵ)=0$$
另一方面，假设对$\forall ϵ>0$,
$$\begin{gathered} \underset{n\to }{\lim }P(|{\xi }_n-\xi |>\frac{1}{2}ϵ)=0 \\ P(|{\xi }_n-\xi |\ge ϵ)\le P(|{\xi }_n-\xi |>\frac{1}{2}ϵ) \end{gathered}$$
因此由夹逼原理，反面也成立。

弱大数定律

${\xi }_1,{\xi }_2,\cdots ,{\xi }_n$是一列随机变量，$S_n={\sum }_{i=1}^n{\xi }_i$，
$$\frac{S_n}{b_n}-a_n\stackrel{P}{\to }0$$
则称$X_n$满足弱大数定律。

对于Bernoulli试验场合，可以直接验证：
$$P(|\frac{S_n}{n}-EX|\ge ϵ)\le \frac{var(S_n)}{n^2{ϵ}^2}=\frac{pq}{n{ϵ}^2}\to 0$$
因此$Bernoulli$试验满足弱大数定律，频率作为一个随机变量随机变量$\frac{S_n}{n}$依概率收敛到均值。

几乎必然收敛

如果
$$P(\underset{n\to \infty }{\lim }{\xi }_n=\xi )=1$$
则称${\xi }_n$几乎必然收敛到$\xi$，记作${\xi }_n\stackrel{a.s.}{\to }\xi$。

强大数定律

如果
$$\frac{S_n}{b_n}-a_n\stackrel{a.s.}{\to }0$$
则称${\xi }_n$满足强大数定律。

依分布收敛

如果${\lim }_{n\to \infty }{F}_{{\xi }_n}(x)=F_{\xi }(x)$对$F_{\xi }(x)$的连续点都成立，则称${\xi }_n$依分布收敛到$\xi$，记作${\xi }_n\stackrel{d}{\to }\xi .$

中心极限定理

$$S_n^{\ast }=\frac{S_n-E{S}_n}{\sqrt{var{S}_n}}$$

若$S_n^{\ast }\stackrel{d}{\to }Z\sim N(0,1)$，则称${\xi }_n$满足中心极限定理。

r阶收敛

如果
$$\underset{n\to \infty }{\lim }E|{\xi }_n-\xi {|}^r=0$$
则称${\xi }_{n}r$阶收敛到$\xi$。记作${\xi }_n\stackrel{r}{\to }\xi$.

收敛的强弱关系

最强：$r$阶收敛、几乎必然收敛，两者不能互相推导。

居中：依概率收敛

最弱：依分布收敛

弱大数定律与依概率收敛

依概率收敛的命题

1. 唯一性：${\xi }_n\stackrel{P}{\to }\xi ,{\xi }_n\stackrel{P}{\to }\eta$，则$\xi \stackrel{a.s.}{=}\eta$.

   证明：
   $$\begin{gathered} \forall ϵ>0,P(|\xi -\eta |>ϵ)=P(|\xi -{\xi }_n+{\xi }_n-\eta |>ϵ)\le P(|\xi -{\xi }_n|>\frac{1}{2}ϵ)+P(|{\xi }_n-\eta |>\frac{1}{2}ϵ) \\ P(|\xi -\eta |\ne 0)=\underset{ϵ\to 0}{\lim }P(|\xi -\eta |>ϵ)=0 \end{gathered}$$

3. $X_n\stackrel{P}{\to }X\Rightarrow X_n-X\stackrel{P}{\to }0$.

   证明：
   $$\forall ϵ>0,\underset{n\to \infty }{\lim }P(|X_n-X-0|>ϵ)=0$$

4. $X_n\stackrel{P}{\to }X,X_n-X_m\stackrel{P}{\to }0(n,m\to \infty )$.

   证明：
   $$P(|X_n-X_m|>ϵ)\le P(|X_n-X|>\frac{1}{2}ϵ)+P(|X_m-X|>\frac{1}{2}ϵ)\to 0$$

5. $X_n\stackrel{P}{\to }X,Y_n\stackrel{P}{\to }Y\Rightarrow X_n\pm Y_n\stackrel{P}{\to }X\pm Y$.

   证明：
   $$P(|X_n+Y_n-X-Y|\ge ϵ)\le P(|X_n-X|\ge \frac{1}{2}ϵ)+P(|Y_n-Y|\ge \frac{1}{2}ϵ)\to 0$$

6. $X_n\stackrel{P}{\to }X\Rightarrow k{X}_n\stackrel{P}{\to }kX$.

   证明：
   $$P(|k{X}_n-kX|\ge ϵ)=P(X_n-X|\ge \frac{ϵ}{k})\to 0$$

7. $X_n\stackrel{P}{\to }X\Rightarrow X_n^2\stackrel{P}{\to }{X}^2$.

   证明：对随机变量$X$，对任意$\delta >0$，存在充分大的$M>0$，使得
   $$P(|X|>\frac{M}{2})<\frac{\delta }{4}$$
   这时候，存在充分大的$n$满足
   $$P(|X_n-X|>\frac{M}{2})<\frac{\delta }{4}$$

   则
   $$P(|X_n|>M)<P(|X|>\frac{M}{2})+P(|X_n-X|>\frac{M}{2})<\frac{\delta }{2}$$

   再对满足上述要求的$n$提更高的要求：对任意的$\forall ϵ>0$，使得
   $$P(|X_n-X|\ge \frac{ϵ}{M})<\frac{\delta }{2}$$
   综上，
   $$P(|X_n||X_n-X|>ϵ)<P(|X_n-X|>\frac{ϵ}{M})+P(|X_n|>M)<\delta$$

   $$P(|X||X_n-X|>ϵ)<\delta$$

   梳理一下逻辑：给定一个$ϵ>0$后，对任意的$\delta$都有当$n$充分大时，$P(|X_n^2-X_{n}X|>ϵ)<\delta ,P(|X{X}_n-X^2|)<\delta$.即
   $$X_n^2-X_{n}X\stackrel{P}{\to }0,X{X}_n-X^2\stackrel{P}{\to }0.$$
   由命题5，
   $$X_n^2-X^2\stackrel{P}{\to }0$$

8. $X_n\stackrel{P}{\to }a,Y_n\stackrel{P}{\to }b,a,b$常数，证明$X_n{Y}_n\stackrel{P}{\to }ab.$

   证明：

   由和的性质，$X_n+Y_n\stackrel{P}{\to }a+b$，再由平方的性质，$X_n^2+Y_n^2+2X_n{Y}_n\stackrel{P}{\to }{a}^2+b^2+2ab$，再由平方的性质得
   $$X_n{Y}_n\stackrel{P}{\to }ab.$$

9. $X_n\stackrel{P}{\to }1\Rightarrow X_n^{-1}\stackrel{P}{\to }1.$

   证明：
   $$P(|\frac{1}{X_n}-1|>ϵ)\le P(|1-X_n|>\frac{1}{2}ϵ)+P(|X_n|<\frac{1}{2})\to 0$$

10. $X_n\stackrel{P}{\to }a,Y_n\stackrel{P}{\to }b,a,b$常数,$b\ne 0,\Rightarrow X_n{Y}_n^{-1}\stackrel{P}{\to }a{b}^{-1}.$

    证明：略。

11. $X_n\stackrel{P}{\to }X,Y$是随机变量，证明：$X_{n}Y\stackrel{P}{\to }XY$.

    证明：
    $$P(|X_{n}Y-XY|>ϵ)<P(|Y|>M)+P(|X_n-X|>\frac{ϵ}{M})\to 0$$

12. $X_n\stackrel{P}{\to }X,Y_n\stackrel{P}{\to }Y$，则$X_n{Y}_n\stackrel{P}{\to }XY.$

    证明：
    $$X_n-X\stackrel{P}{\to }0,Y_n-Y\stackrel{P}{\to }0,X_n{Y}_n-X{Y}_n-X_{n}Y+XY\stackrel{P}{\to }0.$$

13. $X_n\stackrel{P}{\to }X$，$g$是$R$上的连续函数，试证：$g(X_n)\stackrel{P}{\to }g(X).$

    证明：考虑在$[-M,M]$上的性质。不妨假设$X_n,X$都在$[-M,M]$内，否则最后加上他们超出这个范围的概率，这个概率可以很小。

    对任意$ϵ>0,\exists \delta >0,|x-y|<\delta ,|g(x)-g(y)|<ϵ.$（一致连续）
    $$P(|g(X_n)-g(X)|>ϵ)<P(|X_n-X|\ge \delta )+P(|g(X_n)-g(X)|>ϵ,|X_n-X|<\delta )\to 0$$

总结一下，所有的性质包括：

（1）四则运算封闭：$X_n\to X,Y_n\to Y$，无论$X,Y$是常数或是随机变量，都满足四则运算封闭。

（2）连续函数作用封闭。

（3）柯西收敛定理。

与r阶收敛的关系

r阶收敛可以推出依概率收敛，原因如下
$$P(|X_n-X|\ge ϵ)\le E\frac{|X_n-X{|}^r}{{ϵ}^r}$$
于是，当我们要证明依概率收敛，一般采用的方式就是利用切比雪夫不等式或者计算r阶矩。

切比雪夫WLLN

假设$X_1,X_2,\cdots$两两不相关，且$var(X_i)\le M$（$\forall i,$方差有界），则
$$\frac{S_n-E{S}_n}{n}\stackrel{P}{\to }0.$$

证明：
$$P(|\frac{S_n-E{S}_n}{n}|\ge ϵ)\le \frac{var(S_n)}{n^2{ϵ}^2}\le \frac{M}{n{ϵ}^2}\to 0$$

马尔可夫WLLN

把切比雪夫方差有界的条件改为$var(S_n)=o(n^2)$。

伯努利WLLN

就是之前证明过的，bernoulli场合的试验。注意的是和前面两个不一样，这里要求随机变量独立。

泊松WLLN

Bernoulli的投币中，改成每次投的硬币都不一样，即概率为$p_1,p_2,\cdots ,p_k,\cdots$。

强大数定律与几乎必然收敛

由几乎必然收敛的定义，
$$P(\underset{n\to \infty }{\lim }{\xi }_n=\xi )=1$$
ω ∈ { lim ⁡ n → ∞ ξ n ( ω ) = ξ ( ω ) } \omega\in\{\lim_{n\to\infty}\xi_n(\omega)= \xi(\omega)\} ω∈{limn→∞​ξn​(ω)=ξ(ω)}的意思是说，
$$\forall ϵ>0,\exists N\ge 1,\forall n\ge N,|{\xi }_n(\omega )-\xi (\omega )|<ϵ$$
那么 ω ∉ { lim ⁡ n → ∞ ξ n ( ω ) = ξ ( ω ) } = A \omega\notin\{\lim_{n\to\infty}\xi_n(\omega) = \xi(\omega)\} = A ω∈/​{limn→∞​ξn​(ω)=ξ(ω)}=A的意思是说，
$$\exists ϵ>0,\forall N\ge 1,\exists n\ge N,|{\xi }_n(\omega )-\xi (\omega )|\ge ϵ$$
读解这个事件，记事件 A n , ϵ = { ω : ∣ { ξ n ( ω ) − ξ ( ω ) ∣ > ϵ } A_{n,\epsilon} = \{\omega:|\{\xi_n(\omega)-\xi(\omega)| > \epsilon\} An,ϵ​={ω:∣{ξn​(ω)−ξ(ω)∣>ϵ}，它与$n,ϵ$有关。
$$A=\bigcup _{ϵ>0}\bigcap _{N\ge 1}\bigcup _{n\ge N}{A}_{n,ϵ}$$
注意到，$ϵ\to 0$的过程中，后面那个事件列是单调上升的，而$A$就是这个事件列单调上升的极限。又
$$P(A)=0$$
则
$$P(\bigcap _{N\ge 1}\bigcup _{n\ge N}{A}_{n,ϵ})=0,\forall ϵ>0$$
再观察这个事件列。当$N\to \infty$的过程中，${\bigcup }_{n\ge N}{A}_{n,ϵ}$单调下降，对$N$取交，实际上是
$$\underset{n\to \infty }{\mathrm{limsup}}{A}_{n,ϵ}=\bigcap _{N\ge 1}\bigcup _{n\ge N}{A}_{n,ϵ}=\downarrow \underset{N\to \infty }{\lim }\bigcup _{n\ge N}{A}_{n,ϵ}$$
从另一个角度看，把交集读解为“任意”，并集读解为“存在”，上极限事件也可以认为是：对任意的$N$，都存在$N$之后的一个$n$，使得$A_n$发生。因此$A_n$发生了无穷多次。更本质地，如果$\omega \in \underset{n\to \infty }{\mathrm{limsup}}{A}_n$，那么给定一个$N$，存在$N$之后的$n$使得$\omega \in A_n$，记这个$n=n_1$，再根据任意性，存在$n_1$之后的$n_2$使得$\omega \in A_{n_2},\cdots$因此，$\omega$可以使$A_n$发生无穷多次。故我们也把上极限事件称为$A_{n}i.o.$（infinitely often）。这样一来，结论就是：

几乎必然收敛$⟺$对$\forall ϵ$，$P(A_{n,ϵ}i.o.)=0.$

Borel-cantelli引理

令$s={\sum }_{n=1}^{\infty }P(A_n).$

（1）若$s<\infty$，则$P(A_{n}i.o.)=0.$

（2）若$A_1,A_2,\cdots$相互独立，$s=\infty$，则$P(A_{n}i.o.)=1$.

证明：

（1）
$$P(A_{n}i.o.)=P(\underset{N\to \infty }{\lim }\bigcup _{n\ge N}{A}_n)\le P(\bigcup _{n\ge N}{A}_n)\le \sum _{n=N}^{\infty }P(A_n)\to 0.$$
（2）
$$\begin{gathered} P(A_{n}i.o.)=P(\underset{N\to \infty }{\lim }\bigcup _{n\ge N}{A}_n)=\underset{N\to \infty }{\lim }P(\bigcup _{n\ge N}{A}_n) \\ \underset{N\to \infty }{\lim }P(\bigcup _{n\ge N}{A}_n)=\underset{n\to \infty }{\lim }(1-P(\bigcap _{n=N}^{\infty }{A}_n))=1-\underset{N\to \infty }{\lim }\prod _{n=N}^{\infty }(1-P(A_n))\ge 1-e^{-{\sum }_{n=N}^{\infty }}P(A_n)\to 1 \end{gathered}$$

因此，我们可以用
$$P(|{\xi }_1-\xi |>ϵ)+P(|{\xi }_2-\xi |>ϵ)+\cdots <\infty$$
来证明${\xi }_n\stackrel{a.s.}{\to }\xi$.

与其他收敛的关系

$${\xi }_n\stackrel{a.s.}{\to }\xi \Rightarrow {\xi }_n\stackrel{P}{\to }\xi$$

但是，${\xi }_n\stackrel{P}{\to }\xi$，则存在${\xi }_n$的一个子列几乎必然收敛到$\xi$.

反过来，如果对于${\xi }_n$的任意一个子列，都存在一个更小的子列使得${\xi }_{n_i}$几乎必然收敛到$\xi$，则${\xi }_n$依概率收敛到$\xi$.

Borel-Cantelli’s SLLN

如果$X_1,X_2,\cdots$相互独立，$E(X_i-E{X}_i{)}^4\le M,\forall i$，则
$$\frac{S_n-E{S}_n}{n}\stackrel{a.s.}{\to }0.$$
证明：不妨设$E{X}_i=0$，否则令$Y_i=X_i-E{X}_i$，$S_n-E{S}_n=X_1+\cdots +X_n-E{X}_1-\cdots -E{X}_n=Y_1+\cdots +Y_n.$

则由chebyshev Inequality，
$$P(|\frac{S_n}{n}|\ge ϵ)\le \frac{E{S}_n^4}{n^4{ϵ}^4}$$
计算$S_n^4$，它包含下面这些项的期望：
$$X_i^4,X_i^3{X}_j,X_i^2{X}_j{X}_k,X_i^2{X}_j^2,X_i{X}_j{X}_k{X}_l$$
其中只有$X_i^4,X_i^2{X}_j^2$的期望不为0。则
$$E{S}_n^4=\sum _{i=1}^{n}E{X}_i^4+\sum _{i<j}E{X}_i^2{X}_j^2\le nM+\sum _{i<j}\sqrt{E{X}_i^{4}E{X}_j^4}\le nM+C_n^2{C}_4^{2}M\le 3n^{2}M$$
因此
$$\begin{gathered} P(A_n)\le \frac{3M}{n^2{ϵ}^4} \\ \sum _{n=1}^{\infty }P(A_n)=\frac{3M}{{ϵ}^4}\sum _{n=1}^{\infty }\frac{1}{n^2}<\infty \end{gathered}$$
由$Borel-Cantelli$引理，几乎必然收敛成立。

Kolmogorov’s SLLN

这个定律叙述的是i.i.d.序列的强大数定律。

假设$X_1,\cdots$独立同分布，若$EX$存在，则$\frac{S_n}{n}\stackrel{a.s.}{\to }EX$.

这条的直观含义是，期望的时间平均会几乎必然收敛到空间平均。

反过来，如果$\frac{S_n}{n}\stackrel{a.s.}{\to }a\in \mathbb{R}$，则$EX\exists ,EX=a.$

假如某列随机变量$Y_n$几乎必然收敛到$Y$，则$Y$是退化的。因为$Y$与自己独立。$P(Y\le a)=P(Y\le a)P(Y\le a)$，于是必然存在某个$a$使得$P(Y\le a)=1$，之前都是0。$Y$在点$a$的概率就为1.

中心极限定理与依分布收敛

与其他收敛的关系

依概率收敛可以推出依分布收敛。

如果依分布收敛到$C\in \mathbb{R}$，则可以推出依概率收敛到$C$.

证明：不妨设$C=0$，若不然，考虑${\xi }_n-C$。
$$P(|{\xi }_n|\le ϵ)\ge F_{{\xi }_n}(ϵ)-F_{{\xi }_n}(-ϵ)\to F(ϵ)-F(-ϵ)=1$$

依分布收敛的等价条件

（1）${\xi }_n\stackrel{d}{\to }\xi ⟺Ef({\xi }_n)\to Ef(\xi ),\forall f:\mathbb{R}\to \mathbb{R}$有界连续。

（2）${\xi }_n\stackrel{d}{\to }\xi ⟺f_{{\xi }_n}(t)\to f_{\xi }(t),\forall t.$

若$f_{{\xi }_n}(t)\to f(t),\forall t$，且在$t=0$处连续，则$f$是特征函数。

Lindeberg-Levy CLT

假设$X_1,X_2,\cdots$独立同分布，$0<var(X)<\infty .$则
$$S_n^{\ast }\stackrel{d}{\to }Z\sim N(0,1)$$
应用：
$$P(S_n\le x)=P(S_n^{\ast }\le x^{\ast })=\Phi (x\ast )=p,x^{\ast }=\frac{x-E{S}_n}{\sqrt{var(S_n)}}$$
三类问题：

1. 已知$n,x$，求$p$.

   [例]浦丰试验投掷硬币4040次，正面2048次，计算当重复浦丰试验时，正面出现的频率和概率之差的偏离程度不大于浦丰试验中所发生的的偏离的概率。

   解：

   依题意得要求
   $$p=P(|\frac{S_{4040}}{4040}-\frac{1}{2}|\le \frac{28}{4040})$$
   标准化：
   $$p=P(|S_{4040}^{\ast }|\le \frac{56\sqrt{4040}}{4040})=2\Phi (\ast )-1$$

2. 已知$x,p$，求$n$.

   [例]某品牌往常的市场占有率为15%，今公司决定再做一次抽样调查，要求误差小于1%的概率达到95%，问至少要抽多少户？

   解：

   依题意得要求最小的$x$满足
   $$P(|\frac{S_n-0.15n}{n}|\le 0.01)\ge 0.95$$
   标准化
   $$P(|S_n^{\ast }|\le \frac{0.01\sqrt{n}}{\sqrt{0.15\ast 0.85}})\ge 0.95$$

3. 已知$n,p$，求$x$.

   懒得列举了。

注意：当用正态分布逼近二项分布时，需要用修正公式调整：
$$P(k_1\le S_n\le k_2)=\Phi (\frac{k_2-np}{\sqrt{npq}})-\Phi (\frac{k_1-np}{\sqrt{npq}})$$
[例]车间有200台车床，每台的功率为1千瓦，开动频率为60%，要求正常生产的把握至少为99.9%，问：需要多少千瓦电力？

解：

求的是
$$P(S_{200}\le x)\ge 0.999$$
让
$$\Phi (\frac{x-200\ast 0.6+0.5}{\sqrt{200\ast 0.6\ast 0.4}})-\Phi (\frac{-200\ast 0.6-0.5}{\sqrt{200\ast 0.6\ast 0.4}})\ge 0.999$$

Lindeberg-Feller’s CLT

叙述：$X_1,X_2,\cdots$相互独立，$E{X}_k={\mu }_k,var(X_k)={\sigma }_k^2.$记
$$B_n^2=\sum _{k=1}^n{\sigma }_k^2$$
$Lindeberg$条件：
1 B n 2 ∑ k = 1 n E ∣ X k − μ k ∣ 2 1 { ∣ X k − μ k ∣ > ϵ B n } → 0 , ∀ ϵ > 0 \dfrac{1}{B_n^2}\sum_{k=1}^n E|X_k-\mu_k|^2 1_{\{|X_k-\mu_k|>\epsilon B_n\}} \to 0,\forall \epsilon > 0 Bn2​1​k=1∑n​E∣Xk​−μk​∣21{∣Xk​−μk​∣>ϵBn​}​→0,∀ϵ>0
中心极限定理：
$$S_n^{\ast }=\frac{S_n-E{S}_n}{\sqrt{varSn}}\stackrel{d}{\to }Z\sim N(0,1)$$
$Feller$条件：
KaTeX parse error: Undefined control sequence: \and at position 66: …B_n\to\infty\ \̲a̲n̲d̲ ̲\frac{\sigma_n}…
则成立$Lindeberg$条件的充要条件是中心极限定理成立且$Feller$条件成立。