几乎必然收敛 (almost surely convergence)

在随机规划的书籍或论文中，时常能见到 almost surely convergence （几乎必然收敛）这个名词。在这篇博客里，我总结整理一下这个名词的相关知识点。

这篇博文基于维基百科的条目 almost surely 以及国外一本概率教材的 线上资料.

1. almost surely

几乎必然，是概率论或测度论里面经常能看到的一个专业词汇。

如果一个事件发生的概率为 1，在概率论或测度论中我们说这个事件几乎必然（almost surely）发生。

刚开始有点不好理解，为什么要加一个几乎必然，因为这完全基于概率来描述一个事件是否发生。举例：

• 将一个硬币抛无限次，至少出现一个正面这个事件几乎必然发生。因为 P { 至少出现一个正面 } = lim ⁡ n → ∞ 1 − ( 1 2 ) n = 1 P\{至少出现一个正面\}=\lim\limits_{n\rightarrow \infty}1-(\frac{1}{2})^n=1 P{至少出现一个正面}=n→∞lim​1−(21​)n=1
• 假设我们排队等待的时间符合指数分布，那么等待时间小于某个时间我们可以根据指数分布得到一个概率。然而，由于指数分布为连续分布，等待时间恰好为某个时间的概率为 0。因此，排队等待时间为 1 分钟这样的事件几乎必然不发生。（从实际角度看，排队等待时间刚好为 1 分钟是可能的，但是由于假设等待时间为指数分布，从概率角度上讲，等待时间刚好为 1 分钟的概率为 0）

2. almost surely convergence

随机规划算法的收敛性一般都说 almost surely convergence, 简称 $a.s.$, 定义：

一系列随机变量 $X_1,X_2,\dots ,$ 几乎必然收敛于随机变量 $X$，表示为 $X_n\stackrel{a.s.}{\to }X$，如果当 $n$ 趋于无穷大时，随机变量 $X_n$ 与 $X$ 相等的概率为 1, 即

P { lim ⁡ n → ∞ X n = X } = 1 P\{\lim\limits_{n\rightarrow \infty} X_n=X\}=1 P{n→∞lim​Xn​=X}=1

• 两个随机变量相等，意味着这两个随机变量所有可能取值的概率都相等

在测度论中，任何一个随机变量都有一个样本空间 S = { s 1 , s 2 , …   } S=\{s_1,s_2,\dots\} S={s1​,s2​,…}，随机变量可以视作样本空间的函数, 例如随机变量 $X_n$ 在样本为 $s_i$ 时取值为 $x_{ni}$，可以表示为
$$X_n(s_i)=x_{ni}$$

举例：抛一次硬币可能有正面（H）、反面（T）两个结果，样本空间为 { H , T } \{H, T\} {H,T}，一个随机变量 $X_n$ 可以定义为：

$$X_n(s)=\{\begin{array}{ll}\frac{1}{n+1}& \text{if }s=H\\ 1& \text{if }s\ne H\end{array}$$

2.1 一个例子

一个样本空间 $S=[0,1]$，并且样本在 0 到 1 之间均匀分布，定义一个随机变量序列 { X n , n = 1 , 2 , …   } \{X_n,n=1,2,\dots\} {Xn​,n=1,2,…}:
$$X_n(s)=\{\begin{array}{ll}1& 0\le s<\frac{n+1}{2n}\\ 0& \text{otherwise}\end{array}$$

定义另外一个随机变量 $X$:
.$$X(s)=\{\begin{array}{ll}1& 0\le s<\frac{1}{2}\\ 0& \text{otherwise}\end{array}$$

求证 $\lim X_n\stackrel{a.s.}{\to }X$.

根据定义证明。
证明：

我们需要证明 P { lim ⁡ n → ∞ X n = X } = 1 P\{\lim\limits_{n\rightarrow\infty}X_n=X\}=1 P{n→∞lim​Xn​=X}=1.

显然，当 $s>1/2$ 时，$X_n=X=0$;
当 $0\le s<1/2$ 时，$n\to \infty$ 情况下，$\frac{n+1}{2n}\to \frac{1}{2}$，因此，$X_n=X=1$;
当 $s=1/2$ 时，$\underset{n\to \infty }{\lim }{X}_n(1/2)=1,X(1/2)=0$, 因此 $X_n\ne X$;

结合以上两种情况， P { lim ⁡ n → ∞ X n = X } = P { s ∈ [ 0 , 1 / 2 ) ∪ ( 1 / 2 , 1 ] } = 1 / 2 + 1 / 2 = 1 P\{\lim\limits_{n\rightarrow\infty}X_n=X\}=P\{s\in[0,1/2)\cup(1/2, 1]\}=1/2+1/2=1 P{n→∞lim​Xn​=X}=P{s∈[0,1/2)∪(1/2,1]}=1/2+1/2=1.

2.2 定理1

对于一系列随机变量 $X_1,X_2,\dots$, 对于任意 $ϵ>0$, 都有
$$\sum _{n=1}^{\infty }P(|X_n-X|>ϵ)<\infty ,$$
那么 $X_n\stackrel{a.s.}{\to }X$.

这个定理是判断几乎必然收敛的充分条件。

2.3 定理2

对于一系列随机变量 $X_1,X_2,\dots$, 对于任意 $ϵ>0$, 定义一个新的事件
A m = { ∣ X n − X ∣ < ϵ } , for all  n ≥ m A_m=\{|X_n-X|<\epsilon\},\quad\text{for all } n\geq m Am​={∣Xn​−X∣<ϵ},for all n≥m
那么 $X_n\stackrel{a.s.}{\to }X$ 当且仅当 $\underset{m\to \infty }{\lim }P(A_m)=1$.

该定理为充分必要条件。

• 看到一些论文证明一些随机规划算法的几乎必然收敛性，还是挺有难度的，一般还会用到高级概率论中的其他定理或性质