强化学习中的重要收敛性结论(1):常用定理

先说明该文章对于数学基础要求比较高，大多数的结论数学证明来自于《Mathematical Foundation of Reinforcement Learning》。了解强化学习中一些重要收敛性结论的证明过程，对设计好的强化学习算法以及了解一些强化学习中一些基本结论的由来是大有裨益的。本节将重点介绍一些随机逼近理论中的重要收敛性定理，这些定理将为后面强化学习中重要算法的收敛性分析提供理论基础。

（Dvoretzky’s 收敛定理） 考虑一个随机过程${\omega }_{k+1}=(1-{\alpha }_k){\omega }_k+{\beta }_k{\eta }_k$，其中 { α k } k = 1 ∞ \{\alpha_k\}_{k=1}^{\infty} {αk​}k=1∞​， { β k } k = 1 ∞ \{\beta_k\}_{k=1}^{\infty} {βk​}k=1∞​， { η k } k = 1 ∞ \{\eta_k\}_{k=1}^{\infty} {ηk​}k=1∞​是随机序列。$\forall k,{\alpha }_k,{\beta }_k\ge 0$，当满足以下条件：

（1）${\sum }_{k=1}^{\infty }{\alpha }_k=\infty ,{\sum }_{k=1}^{\infty }{\alpha }_k^2<\infty ,{\sum }_{k=1}^{\infty }{\beta }_k^2<\infty ,uniformly.w.p.1$；

（2）$\mathbf{E}[{\eta }_k|H_k]=0,\mathbf{E}[{\eta }_k^2|H_k]\le C$;

其中 H k = { ω k , ω k − 1 , . . . η k − 1 , η k − 2 , . . . α k − 1 , . . . β k − 1 , . . . } H_k=\{\omega_k,\omega_{k-1},...\eta_{k-1},\eta_{k-2},...\alpha_{k-1},...\beta_{k-1},...\} Hk​={ωk​,ωk−1​,...ηk−1​,ηk−2​,...αk−1​,...βk−1​,...}，则${\omega }_k\to 0,w.p.1$。

Proof. 假设${\alpha }_k,{\beta }_k$可以由$H_k$完全确定，即${\alpha }_k={\alpha }_k(H_k),{\beta }_k={\beta }_k(H_k)$。则：
$$\mathbf{E}[{\alpha }_k|H_k]={\alpha }_k,\mathbf{E}[{\beta }_k|H_k]={\beta }_k$$
构造$h_k={\omega }_k^2$，得到:
$$\begin{gathered} \mathbf{E}[h_{k+1}-h_k|H_k]=\mathbf{E}[{\omega }_{k+1}^2-{\omega }_k^2|H_k] \\ =\mathbf{E}[-{\alpha }_k(2-{\alpha }_k){\omega }_k^2+{\beta }_k^2{\eta }_k^2+(2-2{\alpha }_k){\beta }_k{\eta }_k{\omega }_k|H_k] \\ =-{\alpha }_k(2-{\alpha }_k){\omega }_k^2+{\beta }_k^2\mathbf{E}[{\eta }_k^2|H_k]+(2-2{\alpha }_k){\beta }_k{\omega }_k\mathbf{E}[{\eta }_k|H_k] \\ \le -{\alpha }_k(2-{\alpha }_k){\omega }_k^2+{\beta }_k^{2}C \end{gathered}$$
因为${\sum }_{k=1}^{\infty }{\alpha }_k^2<\infty$，所以${\alpha }_k\to 0$。

所以存在$N$,当$k>N$时有${\alpha }_k\le |{\alpha }_k|<1$（极限定义），$-{\alpha }_k(2-{\alpha }_k){\omega }_k^2<0$，此时$\mathbf{E}[h_{k+1}-h_k|H_k]\le {\beta }_k^{2}C,k>N$。

又因为${\sum }_{k=1}^{\infty }{\beta }_k^2=C_{{\beta }^2}<\infty$，因此有：
$$\begin{gathered} \sum _{k=1}^{\infty }\mathbf{E}[h_{k+1}-h_k|H_k]=(\sum _{k=1}^N+\sum _{k=N+1}^{\infty })E[h_{k+1}-h_k|H_k] \\ \le \sum _{k=1}^{N}E[h_{k+1}-h_k|H_k]+\sum _{k=N+1}^{\infty }{\beta }_k^{2}C \\ \le \sum _{k=1}^{N}E[h_{k+1}-h_k|H_k]+C_{{\beta }^2}C<\infty \end{gathered}$$
继续推导：
$$\begin{gathered} \sum _{k=1}^{\infty }{\alpha }_k{\omega }_k^2=\sum _{k=N}^{\infty }{\alpha }_k{\omega }_k^2+\sum _{k=1}^N{\alpha }_k{\omega }_k^2 \\ <\sum _{k=1}^N{\alpha }_k{\omega }_k^2+\sum _{k=N}^{\infty }{\alpha }_k(2-{\alpha }_k){\omega }_k^2 \\ <\sum _{k=1}^N{\alpha }_k{\omega }_k^2+\sum _{k=1}^{\infty }{\alpha }_k(2-{\alpha }_k){\omega }_k^2 \\ <\sum _{k=1}^N{\alpha }_k{\omega }_k^2-\sum _{k=1}^{\infty }\mathbf{E}[h_{k+1}-h_k|H_k]+\sum _{k=1}^{\infty }{\beta }_k^{2}C \end{gathered}$$
由之前的证明$\mathbf{E}[h_{k+1}-h_k|H_k]<\infty ，{\sum }_{k=1}^{\infty }{\beta }_k^{2}C=C_{{\beta }^2}C<\infty$可知：
$$\sum _{k=1}^{\infty }{\alpha }_k{\omega }_k^2<\infty$$
因此${\omega }_k\to 0,w.p.1$，证毕。

（Dvoretzky’s 收敛定理的扩展） 对于集合$X$，元素$x\in X$，对于随机过程：
$${\Delta }_{k+1}(x)=(1-{\alpha }_k(x)){\Delta }_k(x)+{\beta }_k(x)e_k(x)$$
当满足以下条件：

（1）集合$X$是有限的；

（2）${\sum }_k{\alpha }_k(x)=\infty ,,{\sum }_k{\alpha }_k^2(x)<\infty ,{\sum }_k{\beta }_k^2(x)<\infty$；

（3）$\mathbf{E}[{\beta }_k(x)|H_k]\le \mathbf{E}[{\alpha }_k(x)|H_k],uniformly.w.p.1$;

（4）$||\mathbf{E}[e_k|H_k]|{|}_{\infty }\le \gamma ||{\Delta }_k|{|}_{\infty },\gamma \in (0,1)$，$e_k=[e_k(x){]}_{x\in X}^T,{\Delta }_k=[{\Delta }_k(x){]}_{x\in X}^T$；

（5）$\exists C\ge 0,\mathbf{Var}[e_k(x)|H_k]\le C(1+||{\Delta }_k(x)|{|}_{\infty })$.

其中 H k = { Δ k , Δ k − 1 , . . . e k − 1 , . . . α k − 1 , . . . β k − 1 , . . . } H_k=\{\Delta_k,\Delta_{k-1},...e_{k-1},...\alpha_{k-1},...\beta_{k-1},...\} Hk​={Δk​,Δk−1​,...ek−1​,...αk−1​,...βk−1​,...}，则$\forall x\in X,{\omega }_k(x)\to 0,w.p.1$.

Proof.证明太过复杂，见文献Jaakkola,T.,M.I.Jordan and S.Singh.On the Convergence of Stochastic Iterative Dynamic Programming Algorithms.Neural Computation,1993.6:P.1185-1201.

(Robbins-Monro定理) 若在迭代式${\omega }_{k+1}={\omega }_k-{\alpha }_k\bar{g}({\omega }_k,{\eta }_k)$，其中${\eta }_k$为随机变量$\bar{g}({\omega }_k,{\eta }_k)=g({\omega }_k)+{\eta }_k$,当满足条件：

（1）$\forall \omega ,0<c_1\le {\nabla }_{\omega }g(\omega )\le c_2$；

（2）${\sum }_{k=1}^{\infty }{\alpha }_k=\infty ,{\sum }_{k=1}^{\infty }{\alpha }_k^2<\infty$；

（3）$\mathbf{E}[{\eta }_k|H_k]=0,\mathbf{E}[{\eta }_k^2|H_k]<\infty$；

其中 H k = { ω k , ω k − 1 , . . . } H_k=\{\omega_k,\omega_{k-1},...\} Hk​={ωk​,ωk−1​,...}，则${\omega }_k\to {\omega }^{\ast },w.p.1$，其中$g({\omega }^{\ast })=0$。

Proof.有下面的式子：
$$\begin{gathered} {\omega }_{k+1}-{\omega }^{\ast }={\omega }_k-{\omega }^{\ast }-{\alpha }_k\bar{g}({\omega }_k,{\eta }_k) \\ ={\omega }_k-{\omega }^{\ast }-{\alpha }_k(g({\omega }_k)+{\eta }_k) \\ ={\omega }_k-{\omega }^{\ast }-{\alpha }_k(g({\omega }_k)-g({\omega }^{\ast })+{\eta }_k) \\ ={\omega }_k-{\omega }^{\ast }-{\alpha }_k({\nabla }_{\omega }g({\omega }_k^{{}^{\prime }})({\omega }_k-{\omega }^{\ast }))+({\alpha }_k)(-{\eta }_k) \\ =(1-{\alpha }_k{\nabla }_{\omega }g({\omega }_k^{{}^{\prime }}))({\omega }_k-{\omega }^{\ast })+({\alpha }_k)(-{\eta }_k) \end{gathered}$$
其中：${\omega }_k^{{}^{\prime }}=\theta {\omega }_k+(1-\theta ){\omega }^{\ast },\theta \in [0,1]$。令${\Delta }_k={\omega }_k-{\omega }^{\ast }$,则${\Delta }_{k+1}=(1-{\alpha }_k{\nabla }_{\omega }g({\omega }_k^{{}^{\prime }})){\Delta }_k+{\alpha }_k(-{\eta }_k)$。

因为${\sum }_{k=1}^{\infty }{\alpha }_k{\nabla }_{\omega }g({\omega }_k^{{}^{\prime }})>c_1{\sum }_{k=1}^k{\alpha }_k,{\sum }_{k=1}^k{\alpha }_k=\infty$,所以${\sum }_{k=1}^{\infty }({\alpha }_k{\nabla }_{\omega }g({\omega }_k^{{}^{\prime }}))=\infty$.

而${\sum }_{k=1}^{\infty }({\alpha }_k{\nabla }_{\omega }g({\omega }_k^{{}^{\prime }}){)}^2\le c_2^2{\sum }_{k=1}^{\infty }{\alpha }_k^2<\infty ,\mathbf{E}[-{\eta }_k|H_k]=0$。

故由Dvoretzky’s 收敛定理，${\Delta }_k\to 0,w.p.1$,即${\omega }_k\to {\omega }^{\ast },w.p.1$。

由Robbins-Monro定理可以很容易的估计随机变量的数学期望：若独立同分布随机变量 { x k } k = 1 ∞ \{x_k\}_{k=1}^{\infty} {xk​}k=1∞​，数学期望为$\mathbf{E}[X]$,采用迭代式$w_{k+1}=(1-{\alpha }_k)w_k+{\alpha }_k{x}_k$进行计算，若${\sum }_k{\alpha }_k=\infty ,{\sum }_k{\alpha }_k^2<\infty$，可以得到$w_k\to \mathbf{E}[x]$。（证明直接构造$g(w_k)=w_k-\mathbf{E}[x],{\eta }_k=\mathbf{E}[x]-x_k$即可）

（随机梯度下降(SGD)算法的收敛性） 对于最优化问题${\min }_{w}J(w)={\mathbf{E}}_X[f(w,X)]$，当采用迭代式$w_{k+1}=w_k-{\alpha }_k{\nabla }_{w}f(w_k,x_k)$进行参数迭代时，若满足以下条件：

（1）$0<c_1\le {\nabla }_w^{2}f(w,X)\le c_2$;

（2）${\sum }_{k=1}^{\infty }{\alpha }_k=\infty ,{\sum }_{k=1}^{\infty }{\alpha }_k^2<\infty$;

（3） { x k } k = 1 ∞ \{x_k\}_{k=1}^{\infty} {xk​}k=1∞​是独立同分布随机变量.

则$w_k\to w^{\ast }$，其中${\nabla }_w{\mathbf{E}}_X[f(w^{\ast },X)]=0,w.p.1$.

Proof. 令$g(w_k)={\nabla }_w{\mathbf{E}}_X[f(w_k,X)]$，${\eta }_k={\nabla }_{w}f(w_k,X)-{\nabla }_w{\mathbf{E}}_X[f(w_k,X)]$，$\bar{g}(w_k,{\eta }_k)=g(w_k)+{\eta }_k={\nabla }_{w}f(w_k,X)$.

由于$0<c_1\le {\nabla }_w^{2}f(w,X)\le c_2$，因此：
$$c_1\le {\nabla }_{w}g(w_k)={\nabla }_w^2{\mathbf{E}}_X[f(w_k,X)]\le c_2$$
而$\mathbf{E}[{\eta }_k|H_k]=\mathbf{E}[{\nabla }_{w}f(w_k,X)-{\nabla }_w{\mathbf{E}}_X[f(w_k,X)]|H_k]=0$；

同理$\mathbf{E}[{\eta }_k^2|H_k]=\mathbf{E}[({\nabla }_{w}f(w_k,X)-{\nabla }_w{\mathbf{E}}_X[f(w_k,X)]{)}^2|H_k]<\infty$.

因此由Robbins-Monro定理，$w_k\to w^{\ast }$,其中$g(w^{\ast })={\nabla }_w{\mathbf{E}}_X[f(w^{\ast },X)]=0$.

（压缩映射原理） 在非空完备度量空间$(X,d)$中，映射$T:X\to X$为压缩映射，即满足条件：
$$d(T{x}_1,T{x}_2)<Cd(x_1,x_2),x_1,x_2\in X,0<C<1$$
则$T$在该空间中有唯一的不动点$x_0$满足$T{x}_0=x_0$，其可以通过$x_{n+1}=T{x}_n$迭代得到$x_n\to x_0$。

Proof.略，因为这是著名的Banach不动点定理，一般的泛函分析教材上都会有介绍。

（马尔科夫链的稳态分布定理） 设Markov Process的状态空间为$S$,状态量的个数为$|S|$,定义在策略$\pi$下的状态转移概率矩阵$P_{\pi }\in R^{|S|\times |S|}$,定义$k$步状态转移概率矩阵 P π k = { p i j , π ( k ) } ∣ S ∣ × ∣ S ∣ P_{\pi}^k=\{p_{ij,\pi}^{(k)}\}_{|S|\times |S|} Pπk​={pij,π(k)​}∣S∣×∣S∣​,其中：
$$p_{ij,\pi }^{(k)}=\mathbf{Prob}(S_{t_k}=j|S_{t_0}=i,\pi )$$
其满足$P_{\pi }^k=P_{\pi }{P}_{\pi }^{k-1}$.对任意一个初始状态分布$d_0\in R^{|S|},$，在策略$\pi$下经过$k$轮迭代后的状态分布为$d_k:d_k^T=d_0^T{P}_{\pi }^k$.

当满足以下条件：

对于任意的两个状态$i,j\in S$,都存在有限步长$k$，使得$[P_{\pi }^k{]}_{ij}>0$。

有以下结论：

（1）$P_{\pi }^k\to 1_{|S|}{d}_{\pi }^T$；

（2）$d_k^T\to d_0^T{1}_{|S|}{d}_{\pi }^T=d_{\pi }^T$;

（3）$d_{\pi }^T$满足$d_{\pi }^T=d_{\pi }^T{P}_{\pi }$.

此时称这样的Markov Process是regular的。

Proof. 略，因为这是关于Markov Process中经典的遍历定理，一般的随机过程教材上都会有介绍。

(完备度量空间中的柯西列均收敛) 在完备度量空间$(X,d)$中，若柯西列 { x n } ⊂ X \{x_n\}\sub X {xn​}⊂X，则柯西列必收敛$x_n\to x\in X$。其子空间$（Y,d{|}_{Y\times Y}）\subset (X,d)$为闭集是$(Y,d{|}_{Y\times Y})$为完备度量空间的充要条件。

Proof. 略，该定理在一般的泛函分析教材上都会有介绍。

(夹逼定理) 如果数列 { X n } , { Y n } , { Z n } \{X_n\},\{Y_n\},\{Z_n\} {Xn​},{Yn​},{Zn​}满足以下条件：

（1） 当$n>N_0\in N^{\ast }$时，有$Y_n\le X_n\le Z_n$;

（2）${\lim }_{n\to \infty }{Y}_n={\lim }_{n\to \infty }{Z}_n=a<\infty$；

则数列 { X n } \{X_n\} {Xn​}极限存在，且${\lim }_{n\to \infty }{X}_n=a$。

Proof. 由于${\lim }_{n\to \infty }{Y}_n={\lim }_{n\to \infty }{Z}_n=a$，所以由极限的定义：

$\forall \epsilon >0,\exists N_1,n>N_1,|Y_n-a|<\epsilon$；

$\forall \epsilon >0,\exists N_2,n>N_1,|Z_n-a|<\epsilon$；

$\forall \epsilon >0$，当取 N = max ⁡ { N 0 , N 1 , N 2 } N=\max\{N_0,N_1,N_2\} N=max{N0​,N1​,N2​}时，若$n>N$，有$X_n\ge Y_n>a-\epsilon$，$X_n\le Z_n<a+\epsilon$，得到$|X_n-a|<\epsilon$，故${\lim }_{n\to \infty }{X}_n=a$.

（数列的平均值收敛性质） 若 { a n } n = 1 ∞ ⊂ R \{a_n\}_{n=1}^{\infty}\sub R {an​}n=1∞​⊂R是收敛列，${\lim }_{n\to \infty }{a}_n=a^{\ast }$，则${\lim }_{n\to \infty }\frac{1}{n}{\sum }_{k=1}^n{a}_n=a^{\ast }$。

Proof. 令$b_n=\frac{1}{n}{\sum }_{k=1}^n{a}_n$，则有关系$(n+1)b_{n+1}-n{b}_n=a_{n+1}$成立，令${\Delta }_n=b_n-a^{\ast }$，得到:
$$\begin{gathered} (n+1)b_{n+1}-n{b}_n=(n+1)({\Delta }_{n+1}+a^{\ast })-n({\Delta }_n+a^{\ast }) \\ =(n+1){\Delta }_{n+1}-n{\Delta }_n+a^{\ast } \\ =a_{n+1} \end{gathered}$$
化简得到：$(n+1){\Delta }_{n+1}-n{\Delta }_n=a_{n+1}-a^{\ast }$。由于$a_{n+1}\to a^{\ast }$，有$(n+1){\Delta }_{n+1}-n{\Delta }_n\to 0$，即 { n Δ n } ⊂ R \{n\Delta_n\}\sub R {nΔn​}⊂R是柯西列,由于$R$的完备性，有 $n{\Delta }_n\to c^{\ast }\in R$。

这说明$\forall \epsilon >0,\exists N_1>0,n>N_1$有$|n{\Delta }_n-c^{\ast }|<\epsilon$，即：$|{\Delta }_n-\frac{c^{\ast }}{n}|<\frac{\epsilon }{n}$,此时有：
$$|{\Delta }_n|<|{\Delta }_n-\frac{c^{\ast }}{n}|+|\frac{c^{\ast }}{n}|<\frac{\epsilon }{n}+\frac{|c^{\ast }|}{n}$$
若取$N_2=[\frac{\epsilon +|c^{\ast }|}{\epsilon }]+1$，当$n>N_2$有$|{\Delta }_n|<\epsilon$.

综上，$\forall \epsilon >0$，若取 N = max ⁡ { N 1 , N 2 } N=\max\{N_1,N_2\} N=max{N1​,N2​}，当$n>N$时有：$|{\Delta }_n|<\epsilon$.

这说明${\Delta }_n\to 0$,即$b_n=\frac{1}{n}{\sum }_{k=1}^n{a}_n\to a^{\ast }$得证。