离散鞅论2 | 停时与停时定理

3.7 停时与停时定理

为了更好表述，下面给出一个不严谨的 $\sigma$ 域和停时的定义。

用 $F_n=\sigma (Y_k,0\le k\le n)$ 表示 $Y_0,...,Y_n$ 可提供的全部信息，称为他们生成的 $\sigma$ 域。

假设有非负随机变量 $\tau$ 和随机序列 { Y n , n ≥ 0 } \{Y_n,n\ge0\} {Yn​,n≥0}，若 $\forall n\ge 0$， { τ = n } ∈ F n \{\tau=n\}\in F_n {τ=n}∈Fn​，则称 $\tau$ 是 { Y n , n ≥ 0 } \{Y_n,n\ge0\} {Yn​,n≥0} 的停时。

注：若 $\tau$ 是一个停时 $\forall n\ge 0$， { τ = n } ∈ F n \{\tau=n\}\in F_n {τ=n}∈Fn​，那么可以导出事件 { τ ≤ n } , { τ > n } , { τ ≥ n } , { τ < n } \{\tau\le n\},\{\tau>n\},\{\tau\ge n\},\{\tau<n\} {τ≤n},{τ>n},{τ≥n},{τ<n} 均只由 $Y_0,...,Y_n$ 确定，这意味着截至到 $n$ 时刻，根据已有的信息可以完全确定停时所对应的事件是否已经发生。

停时的基本性质：设 $\tau ,\sigma$ 是关于 { Y n , n ≥ 0 } \{Y_n,n\ge0\} {Yn​,n≥0} 的停时，则 $\tau +\sigma ,\tau \wedge \sigma ,\tau \vee \sigma$ 均是停时。

定理 3.3（停时定理1）：设 { X n } \{X_n\} {Xn​} 是鞅，$\tau$ 是停时，若

1. $P(\tau <\infty )=1$
2. $\mathbb{E}|X_{\tau }|<\infty$
3. lim ⁡ n → ∞ E ∣ X n I { τ > n } ∣ = 0 \lim_{n\to\infty} {\mathbb E}|X_n I_{\{\tau>n\}}| = 0 limn→∞​E∣Xn​I{τ>n}​∣=0

则 $\mathbb{E}{X}_{\tau }=\mathbb{E}{X}_0$。

定理 3.4（停时定理2）：设 { X n } \{X_n\} {Xn​} 是鞅，$\tau$ 是停时，若

1. $P(\tau <\infty )=1$（也可以用其增强型条件 $\mathbb{E}\tau <\infty$）
2. $\mathbb{E}[{\sup }_{n\ge 0}|X_{\tau \wedge n}|]<\infty$（这是定理 3.3 中后两个条件的增强型条件）

则 $\mathbb{E}{X}_{\tau }=\mathbb{E}{X}_{\tau \wedge n}=\mathbb{E}{X}_0$。

推论 3.1（停时定理 3）：设 { X n } \{X_n\} {Xn​} 关于 { Y n } \{Y_n\} {Yn​} 是鞅，$\tau$ 是停时，且 $\mathbb{E}\tau <\infty$。若存在一个常数 $b<\infty$，满足对 $\forall n<\infty$ 有 $\mathbb{E}[|X_{n+1}-X_n||Y_0,...,Y_n]\le b$，则 $\mathbb{E}{X}_{\tau }=\mathbb{E}{X}_0$。

推论 3.2（停时定理 4）：设 { X n } \{X_n\} {Xn​} 是鞅，$\tau$ 是停时，若

1. $P(\tau <\infty )=1$
2. $\forall n,\mathbb{E}[X_{\tau \wedge n}^2]$ 一致有界。

则 $\mathbb{E}{X}_{\tau }=\mathbb{E}{X}_0$。

在证明停时定理之前，需要先介绍两个引理。

引理 3.1：若 { X n } \{X_n\} {Xn​} 是关于 { Y n } \{Y_n\} {Yn​} 的鞅，$\tau$ 是关于 { Y n } \{Y_n\} {Yn​} 的停时，则 $\forall n\ge 1$ 有 $\mathbb{E}{X}_0=\mathbb{E}{X}_{\tau \wedge n}=\mathbb{E}{X}_n$。

证明： E X τ ∧ n = E [ X τ I { τ < n } ] + E [ X n I { τ ≥ n } ] = ∑ k < n E [ X k I { τ = k } ] + E [ X n I { τ ≥ n } ] {\mathbb E}X_{\tau\wedge n} = {\mathbb E}[X_\tau I_{\{\tau< n\}}] + {\mathbb E}[X_n I_{\{\tau \ge n\}}] = \sum_{k<n} {\mathbb E}[X_k I_{\{\tau=k\}}] + {\mathbb E}[X_n I_{\{\tau \ge n\}}] EXτ∧n​=E[Xτ​I{τ<n}​]+E[Xn​I{τ≥n}​]=∑k<n​E[Xk​I{τ=k}​]+E[Xn​I{τ≥n}​]，其中
E [ X n I { τ = k } ] = E [ E [ X n I { τ = k } ∣ Y 0 , . . . , Y k ] ] = E [ I { τ = k } E [ X n ∣ Y 0 , . . . , Y k ] ] = E [ X k I { τ = k } ] {\mathbb E}[X_n I_{\{\tau = k\}}] = {\mathbb E}[{\mathbb E}[X_n I_{\{\tau=k\}} | Y_0,...,Y_k]] = {\mathbb E}[I_{\{\tau=k\}}{\mathbb E}[X_n | Y_0,...,Y_k]] = {\mathbb E}[X_k I_{\{\tau = k\}}] E[Xn​I{τ=k}​]=E[E[Xn​I{τ=k}​∣Y0​,...,Yk​]]=E[I{τ=k}​E[Xn​∣Y0​,...,Yk​]]=E[Xk​I{τ=k}​]
于是 $\mathbb{E}{X}_{\tau \wedge n}=\mathbb{E}{X}_n$。证毕。

引理 3.2：设 $X$ 是一个随机变量，满足 $\mathbb{E}|X|<\infty$，$\tau$ 是一个关于 { Y n } \{Y_n\} {Yn​} 的停时，且 $P(\tau <\infty )=1$，则 lim ⁡ n → ∞ E [ X I { τ > n } ] = 0 , lim ⁡ n → ∞ E [ X I { τ ≤ n } ] = E X \lim_{n\to\infty} {\mathbb E}[X I_{\{\tau>n\}}]=0,\lim_{n\to\infty} {\mathbb E}[X I_{\{\tau\le n\}}]={\mathbb E}X limn→∞​E[XI{τ>n}​]=0,limn→∞​E[XI{τ≤n}​]=EX。

证明：由于 lim ⁡ n → ∞ I { τ ≤ n } = 1 \lim_{n\to\infty} I_{\{\tau\le n\}}=1 limn→∞​I{τ≤n}​=1， lim ⁡ n → ∞ E [ ∣ X ∣ I { τ ≤ n } ] = E ∣ X ∣ \lim_{n\to\infty}{\mathbb E}[|X| I_{\{\tau\le n\}}] = {\mathbb E}|X| limn→∞​E[∣X∣I{τ≤n}​]=E∣X∣，因此 lim ⁡ n → ∞ E [ ∣ X ∣ I { τ > n } ] = 0 \lim_{n\to\infty} {\mathbb E}[|X| I_{\{\tau> n\}}]=0 limn→∞​E[∣X∣I{τ>n}​]=0，于是有 lim ⁡ n → ∞ E [ X I { τ > n } ] = 0 \lim_{n\to\infty} {\mathbb E}[X I_{\{\tau> n\}}]=0 limn→∞​E[XI{τ>n}​]=0。证毕。

证明（停时定理 1）：暂略。

3.8 上穿不等式

对于给定区间 $(a,b),b>a$，如果一个随机序列先到达 $a$ 下面，再到达 $b$ 上面，即为上穿 $(a,b)$ 一次，上穿不等式就要研究序列上穿次数的问题。

对随机序列 { X n } \{X_n\} {Xn​}，令 $V^{(n)}(a,b)$ 是 $X_0,...,X_n$ 上穿 $(a,b)$ 的次数，令 ${\alpha }_0=0$，记 ${\alpha }_1$ 为首次到达 $(-\infty ,a]$ 的时间，${\alpha }_2$ 为 ${\alpha }_1$ 之后首次到达 $b$ 的时间，即 α 1 = min ⁡ { n : n ≥ 0 , X n ≤ a } \alpha_1 = \min\{n:n\ge0,X_n\le a\} α1​=min{n:n≥0,Xn​≤a}， α 2 = min ⁡ { n : n > α 1 , X n ≥ b } \alpha_2=\min\{n:n>\alpha_1,X_n\ge b\} α2​=min{n:n>α1​,Xn​≥b}；依此类推 α 2 k − 1 = min ⁡ { n : n > α 2 k − 2 , X n ≤ a } \alpha_{2k-1}=\min\{n:n>\alpha_{2k-2},X_n\le a\} α2k−1​=min{n:n>α2k−2​,Xn​≤a}， α 2 k = min ⁡ { n : n > α 2 k − 1 , X n ≥ b } \alpha_{2k}=\min\{n:n>\alpha_{2k-1},X_n\ge b\} α2k​=min{n:n>α2k−1​,Xn​≥b}。于是可以定义上穿次数 V ( n ) ( a , b ) = max ⁡ { k : k ≥ 0 , α 2 k ≤ n } V^{(n)}(a,b)=\max\{k:k\ge0,\alpha_{2k}\le n\} V(n)(a,b)=max{k:k≥0,α2k​≤n}。

定理 3.5（上穿不等式）：设 { X n } \{X_n\} {Xn​} 关于 { Y n } \{Y_n\} {Yn​} 是下鞅， $V^{(n)}(a,b)$ 是 $X_0,...,X_n$ 上穿 $(a,b)$ 的次数，则
$$\mathbb{E}[V^{(n)}(a,b)]\le \frac{\mathbb{E}[(X_n-a{)}^{+}]-\mathbb{E}[(X_0-a{)}^{+}]}{b-a}\le \frac{\mathbb{E}{X}_n^{+}+|a|}{b-a}$$
其中 $a^{+}=\max (a,0)$。

证明：因为 { X n } \{X_n\} {Xn​} 关于 { Y n } \{Y_n\} {Yn​} 是下鞅，所以 { ( X n − a ) + } \{(X_n-a)^+\} {(Xn​−a)+} 关于 { Y n } \{Y_n\} {Yn​} 也是下鞅。${\tilde{X}}_n=(X_n-a{)}^{+}$ 上穿过 $(0,b-a)$ 的次数也是 $V^{(n)}(a,b)$，因此只需要证明 $(b-a)\mathbb{E}[V^{(n)}(a,b)]\le \mathbb{E}{\tilde{X}}_n-\mathbb{E}{\tilde{X}}_0$。
$$\begin{array}{rl}\mathbb{E}{\tilde{X}}_n-\mathbb{E}{\tilde{X}}_0& =\mathbb{E}\left[({\tilde{X}}_n-{\tilde{X}}_{2V^{(n)}})+\sum _{k=1}^{V^{(n)}}({\tilde{X}}_{{\alpha }_{2k}}-{\tilde{X}}_{{\alpha }_{2k-1}})+\sum _{k=1}^{V^{(n)}}({\tilde{X}}_{{\alpha }_{2k-1}}-{\tilde{X}}_{{\alpha }_{2k-2}})\right]\\ & =\mathbb{E}\left[({\tilde{X}}_n-{\tilde{X}}_{2V^{(n)}})\right]+\mathbb{E}\left[\sum _{k=1}^{V^{(n)}}({\tilde{X}}_{{\alpha }_{2k}}-{\tilde{X}}_{{\alpha }_{2k-1}})\right]+\mathbb{E}\left[\sum _{k=1}^{V^{(n)}}(\mathbb{E}{\tilde{X}}_{{\alpha }_{2k}}-\mathbb{E}{\tilde{X}}_{{\alpha }_{2k-1}})\right]\\ & =\text{I + II + III}\end{array}$$
根据下鞅的定义有 $\text{I,III}\ge 0$，因此 $\text{II}\ge \mathbb{E}[(b-a)V^{(n)}(a,b)]$。证毕。

Remark：为什么会有 $\text{III}>0$？上面的第二个等式成立吗？

推论 3.5.1：上鞅下穿不等式，略。

定理 3.6（鞅收敛定理）：设 { X n } \{X_n\} {Xn​} 关于 { Y n } \{Y_n\} {Yn​} 是下鞅，${\sup }_n\mathbb{E}|X_n|<\infty$，则存在一个随机变量 $X_{\infty }$ 使 { X n , n ≥ 0 } \{X_n,n\ge0\} {Xn​,n≥0} 以概率 1 收敛于 $X_{\infty }$，即 $P({\lim }_{n\to \infty }{X}_n=X_{\infty })=1$，且 $\mathbb{E}|X_{\infty }|<\infty$。

证明：首先由于 $\mathbb{E}{X}_n^{+}\le \mathbb{E}|X_n|\le 2\mathbb{E}{X}_n^{+}-\mathbb{E}{X}_n$，因此 ${\sup }_n\mathbb{E}|X_n|<\infty ⟺{\sup }_n\mathbb{E}{X}_n^{+}<\infty$（存疑？）

3.9 极大值不等式与 Doob 定理

随机变量序列 { Y n } \{Y_n\} {Yn​} 独立同分布，且 $\mathbb{E}{Y}_n=0,\mathbb{E}{Y}_n^2={\sigma }^2$，取 $X_0=0,X_n={\sum }_{k\le n}{Y}_k$，对任意 $\epsilon >0$，有

• 切比雪夫不等式：${\epsilon }^{2}P(|X_n|>\epsilon )\le n{\sigma }^2$；
• Kolmogorov不等式：${\epsilon }^{2}P({\max }_{0\le k\le n}|X_k|>\epsilon )\le n{\sigma }^2$。

Markov不等式：非负随机变量 $X$，对任意 $a>0$ 有 $aP(X\ge a)\le \mathbb{E}X$。

Chernoff界：随机变量 $X$，$\varphi (t)=\mathbb{E}[e^{tX}]$，对任意实数 $a>0$ 有

1. $t>0$ 时，有 $P(X\ge a)\le e^{-at}\varphi (t)$；
2. $t<0$ 时，有 $P(X\le a)\le e^{-at}\varphi (t)$。

注：$\mathbb{E}[e^{tX}]=1+t\mathbb{E}X+\frac{t^2}{2!}\mathbb{E}{X}^2+\cdots$，当 $X$ 的各阶矩都知道的时候，特征函数也就知道了。

引理 3.3： { X n } \{X_n\} {Xn​} 是下鞅，$\forall n\ge 0,X_n\ge 0$，则对任何 $\lambda >0$，有 $\lambda P({\max }_{0\le k\le n}{X}_k>\lambda )\le \mathbb{E}{X}_n$。

推论 3.3： { X n } \{X_n\} {Xn​} 是鞅，则对任意 $\lambda >0$ 有

• $\lambda P({\max }_{0\le k\le n}|X_k|>\lambda )\le \mathbb{E}|X_n|$
• $\lambda P({\max }_{0\le k\le n}|X_k{|}^2>\lambda )\le \mathbb{E}|X_n{|}^2$

定理 3.7（Doob）： { X k } \{X_k\} {Xk​} 是鞅，如果 $X_k\in L^p(P),1\le p<\infty$，则
$$\mathbb{E}\left[\underset{1\le k\le n}{\max }|X_k{|}^p\right]\le \{\begin{array}{ll}{q}^p\mathbb{E}(|X_n{|}^p),& p>1,q=p/(p-1)\\ \frac{e}{e-1}\left(1+\mathbb{E}[|X_n|{\log }^{+}|X_n|]\right),& p=1\end{array}$$
证明从略。

3.10 Azuma不等式

3.10.1 Azuma不等式

引理 3.4：若随机变量 $X$ 满足 $\mathbb{E}X=0$，$P(-\alpha \le X\le \beta )=1,\alpha >0,\beta >0$，则对任意的凸函数 $f(x)$ 有 $\mathbb{E}[f(X)]\le \frac{\beta }{\alpha +\beta }f(-\alpha )+\frac{\alpha }{\alpha +\beta }f(\beta )$。

引理 3.5：对任意参数 $k\in [0,1]$，有 $k{e}^{(1-k)x}+(1-k)e^{-kx}\le e^{x^2/8}$。

证明：略。

定理 3.8（Azuma不等式）： { Z n , n ≥ 1 } \{Z_n,n\ge1\} {Zn​,n≥1} 是鞅，$\mu =\mathbb{E}{Z}_n$，令 $Z_0=\mu$，并假设存在非负常数 ${\alpha }_i,{\beta }_i,i\ge 1$，满足条件 $-{\alpha }_i\le Z_i-Z_{i-1}\le {\beta }_i$，则对任意的 $n\ge 1,a>0$ 有

1. $P(Z_n-\mu \ge a)\le \exp (-2a^2/{\sum }_{i=1}^n({\alpha }_i+{\beta }_i{)}^2)$
2. $P(Z_n-\mu \le -a)\le \exp (-2a^2/{\sum }_{i=1}^n({\alpha }_i+{\beta }_i{)}^2)$

证明：先假设 $\mu =0$，对任意的 $c>0$，则有 $P(\exp (c{Z}_n)\ge \exp (ca))\le \mathbb{E}[\exp (c{Z}_n)]\exp (-ca)$。令 $W_n=\exp (c{Z}_n)$，那么
$$\begin{array}{rl}\mathbb{E}[W_n|Z_{n-1}]& =\exp (c{Z}_{n-1})\mathbb{E}[\exp (c(Z_n-Z_{n-1}))|Z_{n-1}]\\ & \le W_{n-1}\left[\frac{{\beta }_n}{{\alpha }_n+{\beta }_n}\exp (-c{\alpha }_n)+\frac{{\alpha }_n}{{\alpha }_n+{\beta }_n}\exp (c{\beta }_n)\right]\end{array}$$
于是有 $\mathbb{E}{W}_n\le \mathbb{E}{W}_{n-1}({\beta }_n\exp (-c{\alpha }_n)+{\alpha }_n\exp (c{\beta }_n))/({\alpha }_n+{\beta }_n)$，再利用引理 3.5 迭代即可证明 $\mathbb{E}{W}_n\le \exp (c^2{\sum }_{i=1}^n({\alpha }_i+{\beta }_i{)}^2/8)$。取 $c=4a/{\sum }_{i=1}^n({\alpha }_i+{\beta }_i{)}^2$ 即可得证。第二个不等式可以用零均值的鞅 { Z n − μ } \{Z_n-\mu\} {Zn​−μ} 和 { μ − Z n } \{\mu-Z_n\} {μ−Zn​} 得到。

推论 3.8.1：如果向量 $X=(x_1,x_2,...,x_n)$ 和 $Y=(y_1,y_2,...,y_n)$ 最多只有一个坐标点不同，也就是说存在一个 $k$ 使得 $x_i=y_i,\forall i\ne k$。假设存在一个函数 $h(X)$ 满足条件 $|h(X)-h(Y)|\le 1$，假设 $X_1,...,X_n$ 为独立的随机变量，于是有 $P(h(X)-\mathbb{E}[h(X)]\ge a)\le \exp (-a^2/2n)$，$P(h(X)-\mathbb{E}[h(X)]\le -a)\le \exp (-a^2/2n)$。

证明：考虑（Doob）鞅 $Z_i=\mathbb{E}[h(X)|X_1,...,X_i],i=1,2,...,n$，那么有
$$|\mathbb{E}[h(X)|X_1=x_1,...,X_i=x_i]-\mathbb{E}[h(X)|X_1=x_1,...,X_{i-1}=x_{i-1}]|=|\mathbb{E}[h(x_1,...,x_i,X_{i+1},...,X_n)]-\mathbb{E}[h(x_1,...,x_{i-1},X_i,...,X_n)]|\le 1$$
因此 $|Z_i-Z_{i-1}|\le 1$，再取 ${\alpha }_i=-1,{\beta }_i=1$ 利用 Azuma 不等式即可。

3.10.2 Azuma不等式的推广

引理 3.6：假设 $Z_n$ 是一个零均值的鞅，$Z_0=0,-\alpha \le Z_i-Z_{i-1}\le \beta$，对所有的 $i>0$ 成立，于是有 $P(Z_n\ge a+bn)\le \exp (-8ab/(\alpha +\beta {)}^2)$，其中 $a,b>0$。

证明：类似前面 Azuma 不等式的证明，取 $W_n=\exp (c(Z_n-a-bn))$，那么可以验证 $\mathbb{E}[W_n|W_1,...,W_{n-1}]\le W_{n-1}\exp (-cb)\exp (c^2(\alpha +\beta {)}^2/8)$，取 $c=8b/(\alpha +\beta {)}^2$ 就可以得到 { W n } \{W_n\} {Wn​} 为上鞅。对于一个固定的正整数 $k$，定义有界停时 τ = min ⁡ { n : Z n ≥ a + b n ,  or  n = k } \tau=\min\{n:Z_n\ge a+bn, \text{ or } n=k\} τ=min{n:Zn​≥a+bn, or n=k}，于是有 $P(Z_{\tau }\ge a+b\tau )=P(W_{\tau }\ge 1)\le \mathbb{E}{W}_{\tau }\le \mathbb{E}{W}_0$，因此有 $P(Z_n\ge a+bn,n\le k)\le \exp (-8ab/(\alpha +\beta {)}^2)$。令 $k\to \infty$ 就得到所需结论，证毕。

定理 3.9：假设 $Z_n$ 是一个零均值的鞅，$Z_0=0,-\alpha \le Z_i-Z_{i-1}\le \beta$，对所有的 $i>0$ 成立，对任意的正常数 $c$ 和正整数 $m$ 有
$$\begin{array}{rl}P(Z_n\ge cn,n\ge m)& \le \exp (-2m{c}^2/(\alpha +\beta {)}^2)\\ P(Z_n\le -cn,n\ge m)& \le \exp (-2m{c}^2/(\alpha +\beta {)}^2)\end{array}$$
证明：如果存在一个 $n$ 满足条件 $n\ge m,Z_n\ge nc$，对这个 $n$ 有 $Z_n\ge nc\ge mc/2+nc/2$，直接利用引理 3.6 即可得证。

Remark：面对概率放缩问题，首先考虑 Markov 不等式，然后考虑 Chernoff 不等式，然后考虑 Azuma 不等式。

栗子：掷硬币，出现正面的概率为 $p$，抛掷 $m$ 次后出现正面的比率与 $p$ 相差大于 $\epsilon$ 的概率是多少？

解：令 $S_n$ 为前 $n$ 次抛掷硬币中出现正面的次数，因此需要求解 $P(|S_n/n-p|>\epsilon ,n\ge m)$。取 $Z_n=S_n-np$，可以验证 { Z n } \{Z_n\} {Zn​} 为零均值的鞅，并且满足 $-p\le Z_n-Z_{n-1}\le 1-p$，利用推广的 Azuma 不等式就可以得到 $P(Z_n\ge \epsilon n,n\ge m)\le \exp (-2m{\epsilon }^2)$。

最后给我的博客打个广告，欢迎光临
https://glooow1024.github.io/
https://glooow.gitee.io/

前面的一些博客链接如下
泛函分析专栏
高等数值分析专栏
随机过程专栏
随机过程1 绪论
随机过程2 平稳过程与二阶矩
离散鞅论1 | 基本概念
离散鞅论2 | 停时与停时定理
离散鞅论3 | 鞅论应用
泊松过程1 | 定义与基本性质
泊松过程2 | 泊松过程扩展
布朗运动 1 | 基本概念与性质
布朗运动 2 | 布朗运动的推广
马尔可夫过程1 | 基本概念
马尔可夫过程2 | 状态空间
连续参数马尔可夫链