极限理论总结02：弱大数律（WLLN）与强大数律（SLLN）

03.弱大数律(WLLN)

在概率论的学习中，对于$i.i.d.$随机变量平均值的收敛形式及收敛条件，我们给出下述条件：

• 对于弱大数律（WLLN），要求$E|X_1|<\infty$

• 对于中心极限定理，要求 $Cov(X_1)=\Sigma <\infty$

在以下讨论中，对于上述条件进行放宽并尝试给出定理成立的充要条件。

独立同分布情形

定理3.1：设 $X_1,X_2,\cdots$ 为独立同分布的随机变量。存在常数列$a_n$ 使得 $\frac{1}{n}{\sum }_{i=1}^n{X}_i-a_n\stackrel{p}{\to }0$ 成立 $⟺$ $x\mathrm{P}\left(\left|X_1\right|>x\right)\to 0,x\to \infty$, 其中$a_n$可以取为 a n = E ( X 1 1 { ∣ X 1 ∣ ≤ n } ) a_{n}=\mathrm{E}\left(X_{1} 1_{\left\{\left|X_{1}\right| \leq n\right\}}\right) an​=E(X1​1{∣X1​∣≤n}​)

注：一阶矩有限仅为弱大数律成立的充分条件，想要弱大数律成立仅需尾部概率”足够小“即可。

例1：设 $X_1,X_2,\dots ,X_n$ 为 i.i.d. 随机向量，生存函数为$\mathrm{P}\left(X_i>x\right)=e/(x\log x)$ 对任意 $x\ge e$ 。则有 $\mathrm{E}\left|X_1\right|=\infty$ ，且存在常数列 ${\mu }_n\to \infty$ 使得 ${\bar{X}}_n-{\mu }_n\stackrel{p}{\to }0$.

证明：

由$\mathrm{E}\left|X_1\right|={\int }_0^{\infty }\mathrm{P}\left(X_1>y\right)\mathrm{d}y=e+{\int }_1^{\infty }\frac{e}{t}\mathrm{d}t=\infty$可知$X_i$的期望无界

但$\mathrm{x}\mathrm{P}\left(\left|X_1\right|\ge x\right)=\frac{e}{\log x}\to 0$ ， $x\to \infty$成立，则说明弱大数律成立

例2：设 $X_1,X_2,\dots ,X_n\stackrel{i.i.d}{\sim }\mathrm{Cauchy}(0,1)$，但对于${\bar{X}}_n$ 弱大数律不成立。

证明：
$$\mathrm{P}\left(\left|X_1\right|>x\right)=2{\int }_x^{\infty }\frac{1}{\pi \left(1+t^2\right)}\mathrm{d}t\sim \frac{2}{\pi }{x}^{-1}$$
不满足弱大数律成立的充要条件

但根据特征函数，可以得到${\bar{X}}_n\stackrel{d}{\to }{X}_1$。

不相关情形

当样本并不服从独立同分布时，要使弱大数律成立，以下考虑对二阶矩作出限制。

定理3.2：设 $X_1,X_2,\dots$ 不相关，均值分别为 ${\mu }_1,{\mu }_2,\dots$ ，方差分别为 ${\sigma }_1^2,{\sigma }_2^2,\dots$ 且有限。如果 ${\sum }_{i=1}^n{\sigma }_i^2=o\left(n^2\right)$, 则

$n^{-1}{\sum }_{i=1}^n\left(X_i-{\mu }_i\right)\stackrel{p}{\to }0$

04.强大数律(SLLN)

独立同分布情形

定理4.1：(SLLN)设 $X_1,X_2,\cdots$为独立同分布的随机变量。 存在常数 $c$ 使得 $\frac{1}{n}{\sum }_{i=1}^n{X}_i\to c$ 成立$⟺$ $\mathrm{E}\left|X_1\right|<\infty$, 其中 $c=\mathrm{E}\left(X_1\right)$

注：一阶矩有限$i.i.d$样本强大数律成立的充要条件

例：样本（Pearson）相关系数

设 $\left(X_i,Y_i\right),i=1,2,\dots ,n$ 为 i.i.d. 随机向量，记 $\mathrm{E}\left(X_1\right)={\mu }_X,\mathrm{E}\left(Y_1\right)={\mu }_Y$ $\mathrm{Var}\left(X_1\right)={\sigma }_X^2<\infty ,\mathrm{Var}\left(Y_1\right)={\sigma }_Y^2<\infty$, 和 $\mathrm{Cor}\left(X_1,Y_1\right)=\rho .$ 则样本（Pearson）相关系数
$r_n=\frac{{\sum }_{i=1}^n\left(X_i-{\bar{X}}_n\right)\left(Y_i-{\bar{Y}}_n\right)}{\sqrt{{\sum }_{i=1}^n{\left(X_i-{\bar{X}}_n\right)}^2}\sqrt{{\sum }_{i=1}^n{\left(Y_i-{\bar{Y}}_n\right)}^2}}$几乎处处收敛到 $\rho$

证明：

将$r_n$变形为：
$$r_n=\frac{\frac{1}{n}\sum X_i{Y}_i-{\bar{X}}_n{\bar{Y}}_n}{\sqrt{\left(\frac{1}{n}\sum X_i^2-{\bar{X}}_n^2\right)\left(\frac{1}{n}\sum Y_i^2-{\bar{Y}}_n^2\right)}}$$
由强大数律和连续映射定理可知：$r_n\stackrel{wp1}{\to }\frac{\mathrm{E}(X_1{Y}_1)-{\mu }_X{\mu }_Y}{{\sigma }_X{\sigma }_Y}=\rho$

独立情形

当样本不满足同分布条件时，要使强大数律成立，以下考虑对二阶矩做出限制。

定理4.2：设 $X_1,X_2,\dots$ 独立，均值分别为 ${\mu }_1,{\mu }_2,\dots$ ，方差分别为 ${\sigma }_1^2,{\sigma }_2^2,\dots$ 且有限。如果 ${\sum }_{i=1}^{\infty }{\sigma }_i^2/p^2<\infty$, 则 $n^{-1}{\sum }_{i=1}^n\left(X_i-{\mu }_i\right)\stackrel{wp1}{\to }0$