迭代法求解贝尔曼期望方程的数学证明

强化学习的核心是用迭代法求解马尔可夫决策过程（MDP）的贝尔曼期望方程（Bellman Optimality Equation）：
$$V(s)=R_s+\gamma \sum _{s^{\prime }\in S}{P}_{s{s}^{\prime }}V(s^{\prime })$$
一般来说，可从两个角度证明迭代法求解贝尔曼期望方程的正确性（本文依赖于<1>）：

• 1_泛函分析：压缩映射与巴拿赫不动点定理
• 2_数值分析：不动点迭代法及其收敛定理

参考资料：

• 如何证明迭代式策略评价、值迭代和策略迭代的收敛性？ https://zhuanlan.zhihu.com/p/39279611
  
• 强化学习中无处不在的贝尔曼最优性方程，背后的数学原理知多少？ https://blog.csdn.net/FnqTyr45/article/details/104889982
  
• 不动点迭代法及其收敛原理 https://wenku.baidu.com/view/48350321dd36a32d7375818e.html
• 压缩映射与巴拿赫不动点定理https://zhuanlan.zhihu.com/p/336255678

1 度量空间(Metric Space)

1.1 度量空间的概念

度量空间 $M：<X,d>$ ，其中X是集合，d 是某种度量函数。度量空间是指在一个集合上的度量，度量则是定义了集合中任何两个元素之间的距离。例如，欧几里德空间是度量空间，其距离定义为欧几里德距离。一个度量$d$必须满足以下四条性质：

• 单位性：$d(x,x)=0$

• 非负性：$d(x,y)>0$

• 对称性：$d(x,y)=d(y,x)$

• 三角不等式：$d(x,z)\le d(x,y)+d(y,z)$

常见的度量函数$d$有：

(1)范数metric： $d(x,y)=||x-y|{|}_n,n\ge 1$, 其中$||c|{|}_n$ 表示向量的$n$范数,$||c|{|}_n=(\sum _i|c_i{|}^n{)}^{\frac{1}{n}}$

• $n=1$时，为绝对值距离，又叫曼哈顿距离，即$d(x,y)=\sum _i|x_i-y_i|$
• $n=2$时，为欧式距离
• $n=\infty$时，为最大值距离，又叫切比雪夫距离，即$d(x,y)=\underset{i}{\max }|x_i-y_i|$

(2)离散metric:
$$d(x,y)=\{\begin{array}{ll}0& ifx=y\\ 1& otherwise\end{array}$$

1.2 完备度量空间

如果由集合$X$中元素组成的每个可能的柯西序列都收敛到集合$X$，则度量空间$<X,d>$ 是完备的。也就是说，由集合中的每个柯西序列的极限所对应元素也属于该集合， 这也是为什么它被称为“完备”的原因。

**定义 ：**一个度量空间（metric space）$<X,d>$ 是完备的(或者说是柯西的<Cauchy的>)，当且仅当所有在$X$中的Cauchy序列，都会收敛到$X$中。

即，在完备的度量空间中，对于任意在$X$中的点序列$x_1,x_2,x_3,x_4,\cdots \in X$ ，如果序列是Cauchy的，那么该序列收敛于$X$ , 即$\underset{n\to \infty }{\lim }{a}_n\in X$。

换句话说，完备的metric space是没有缺失的点的。有一种直观的形容方法就是完备空间“没有孔”（内部不缺点），“不缺皮”（边界不缺点）。比如，对于有理数集合$R$ ， 用绝对值$|.|$函数衡量两个有理数的距离，这是一个metric space，那么它是不是完备的呢？对于Cauchy序列：
$$x_{n+1}=\{\begin{array}{ll}1,& n=1\\ \frac{x_n}{2}+\frac{1}{x_n}& n>1\end{array}$$
这个序列其实是：$1,3/2,17/12\dots$。解方程$x=\frac{x}{2}+\frac{1}{x}$, 得到$x=\sqrt{2}$。可以看出这个序列中的值都是有理数，而且是Cauchy序列，收敛于$x_n=\sqrt{2}$ 。因此这样一个有理数序列收敛的点不在集合$R$中，因此我们认为有理数集合是有缺失的点的，不是一个完备的metric space。
完备的metric space这个概念非常的重要，很多时候我们很难证明一个序列是收敛的，但是比较容易证明它是Cauchy的，只要确认该Cauchy序列在完备的metric space中，即可直接得到收敛性。

2 压缩映射

2.1 映射：

两个集合之间的一种对应关系$T：X\to Y$，对$X$中的每个元素$x$，$Y$中都只有一个元素$y$与之对应。分析：

• 宏观上，映射是集合到集合的关系
• 微观上，是俩个元素之间的对应的关系

2.2 压缩映射：

设$<X,d>$是距离空间，映射$T：X\to X$。若存在一个常数$\alpha \in [1,0)$，使得对任意$x,y\in X$，都有：
$$d(T(x),T(y))\le \alpha \cdot d(x,y)$$
称$T$为$X$上的压缩映射。例如：$T=f(x)=\frac{1}{2}x$。

• 分析：经过映射后，两点间距离更小。
• 问题：距离怎么定义？任取一种距离还是对于任何距离都成立？
• 答：$(X,d)$是完备的距离空间，则只要有一种 $d$ 度量函数即可。

2.3 举例解释

总结：集合，度量，压缩映射三者的关系：
例题：设$X=[1,+\infty )\subset R^1$，$T：X\to X$，定义：$T(x)=\frac{x}{2}+\frac{1}{x}$。求证$T$是压缩映射。

思路：选取一种合适的度量函数$d$，目标是根据定义证明：$d(T(x),T(y))\le \alpha \cdot d(x,y),\alpha \in [0,1)$

证明：对于任意$x,y\in X$，当$d$为绝对值距离时：
$$d(T(x),T(y))=|\frac{x}{2}+\frac{1}{x}-(\frac{y}{2}+\frac{1}{y})|=|\frac{1}{2}-\frac{1}{xy}|\cdot |x-y|$$
由于$x,y\in X=[1,+\infty )\Rightarrow 0<\frac{1}{xy}\le 1$，

所以$|\frac{1}{2}-\frac{1}{xy}|\le \frac{1}{2}<\frac{2}{3}$。从而：
$$d(T(x),T(y))<\frac{2}{3}d(x,y)$$

3 不动点定理

3.1 不动点的概念

已知函数$f(x)$,假设存在$x$,使得$f(x)=x$,那么点$(x,f(x))$就是函数$f(x)$的一个不动点。

例如：已知函数$f(x)=x^2-2x+2$，令$f(x)=x$，则变形为$x^2-3x+2=0$，则$x=1,2$。所以点$（1,1）,（2,2）$就是函数$f(x)$的不动点。

3.2 不动点定理

设$<X,d>$是完备的距离空间，$T：X\to X$是压缩映射，则$T$有唯一的不动点。

证明思路：由 $T$ 构造一个数列 { x n } \{x_n\} {xn​} $⟶$ 证明 { x n } \{x_n\} {xn​}是柯西数列 $⟶$ 存在极限点$x^{\ast }$且 $x^{\ast }\in X$ $⟶$ $ T(x)=x^{*}$ $⟶$ 证明$x^{\ast }$唯一。
证明：
第一步：任取$x_0\in X$，构造数列：$x_1=T(x_0)，x_2=T(x_1)=T^2(x_0)，...，x_m=T(x_{m-1})=T^m(x_0)，...，x_n=T(x_{n-1})=T^n(x_0)$。则：
d ( x m + 1 , x m ) = d ( T ( x m ) , T ( x m − 1 ) ) ≤ α d ( x m , x m − 1 ) d ( x m , x m − 1 ) = d ( T ( x m − 1 ) , T ( x m − 2 ) ) ≤ α d ( x m − 1 , x m − 2 ) ⋯   ⋯ d ( x 2 , x 1 ) = d ( T ( x 1 ) , T ( x 0 ) ) ≤ α d ( x 1 , x 0 ) ⟹ d ( x m + 1 , x m ) ≤ α m d ( x 1 , x 0 ) (1) \begin{aligned} &d(x_{m+1},x_m) = d(T(x_m),T(x_{m-1})) \leq \alpha d(x_m,x_{m-1}) \\ &d(x_{m},x_{m-1}) = d(T(x_{m-1}),T(x_{m-2})) \leq \alpha d(x_{m-1},x_{m-2}) \\ &\cdots \ \cdots \\ &d(x_2,x_1) = d(T(x_1),T(x_0)) \leq \alpha d(x_1,x_0) \\ &\Longrightarrow d(x_{m+1},x_m) \leq \alpha^m d(x_1,x_0) \tag{1} \end{aligned} ​d(xm+1​,xm​)=d(T(xm​),T(xm−1​))≤αd(xm​,xm−1​)d(xm​,xm−1​)=d(T(xm−1​),T(xm−2​))≤αd(xm−1​,xm−2​)⋯ ⋯d(x2​,x1​)=d(T(x1​),T(x0​))≤αd(x1​,x0​)⟹d(xm+1​,xm​)≤αmd(x1​,x0​)​(1)
对于任意$m<n$，重复应用三角不等式，

$$d(x_m,x_n)\le d(x_m,x_{m+1})+d(x_{m+1},x_n)\le d(x_m,x_{m+1})+d(x_{m+1},x_{m+2})+d(x_{m+2},x_n)\le d(x_m,x_{m+1})+...+d(x_{n-1},x_n)$$

代入$(1)$式,得：

$$d(x_m,x_n)\le ({\alpha }^m+{\alpha }^{m+1}+...+{\alpha }^{n-1})d(x_1,x_0)={\alpha }^m\frac{1-{\alpha }^{n-m}}{1-\alpha }d(x_1,x_0)\stackrel{m\to +\infty }{⟶}0$$
即 { x n } \{x_n\} {xn​}是柯西数列。
而$<X,d>$是完备的，所以 $\exists x^{\ast }\in X$，使得 $\underset{n\to \infty }{\lim }{x}_n=x^{\ast }(2)$
第二步：由(2)式可得：$\underset{n\to \infty }{\lim }{x}_{n-1}=x^{\ast }$

又由于$T(x)$是连续函数，且$x_n=T(x_{n-1})$，两边取极限：

$$左边：\underset{n\to \infty }{\lim }{x}_n=x^{\ast }$$

$$右边：\underset{n\to \infty }{\lim }T(x_{n-1})=T(\underset{n\to \infty }{\lim }{x}_{n-1})=T(x^{\ast })$$

从而$T(x^{\ast })=x^{\ast }$，$x^{\ast }$是不动点。

4 MRP（马尔科夫奖励过程）中的贝尔曼期望方程

MRP中，假设状态集 $S=s_1,s_2,...,s_n$ ，贝尔曼期望方程（Bellman Equation）:
$$v(s)=R_s+\gamma \sum _{s\prime \in S}{P}_{ss\prime }v(s\prime )$$
可以写成如下矩阵的形式：
$$v=R+\gamma Pv$$
它表示：
$$\left[\begin{array}{c}v(s_1)\\ \cdots \\ v(s_n)\end{array}\right]=\left[\begin{array}{c}{R}_1\\ \cdots \\ R_n\end{array}\right]+\gamma \left[\begin{array}{c}{P}_{11}\cdots P_{1n}\\ \cdots \cdots \cdots \\ P_{n1}\cdots P_{nn}\end{array}\right]\left[\begin{array}{c}v(s_1)\\ \cdots \\ v(s_n)\end{array}\right]$$
则映射函数为：
$$T(v)=R+\gamma Pv$$

4.1 定义度量空间

对于状态集$S=s_1,s_2,...,s_n$，我们定义状态值函数向量：
$$V=\left[\begin{array}{c}v(s_1)\\ v(s_2)\\ ...\\ v(s_n)\end{array}\right]$$

该向量属于值函数空间$V$，我们考虑$V$是一个$n$维全空间。定义该空间的度量是无穷范数，即：

$$d(u,v)=\underset{s\in S}{\max }|u(s)-v(s)|$$

由$V$于是向量全空间，因此$<V,d>$是一个完备的度量空间。

4.2 T(v)是压缩映射

$$\begin{array}{rl}d(T(u),T(v))& =||(R+\gamma Pu)-(R+\gamma Pv)|{|}_{\infty }\\ & =||\gamma P(u-v)|{|}_{\infty }\\ & \le ||\gamma P||u-v|{|}_{\infty }|{|}_{\infty }\\ & \le \gamma ||u-v|{|}_{\infty }=\gamma d(u,v)\end{array}$$
根据压缩映射定理，我们可以直接得到如下的结论：

• 贝尔曼期望方程收敛于唯一的$V$；
• 迭代式策略评价算法以$\gamma$的线性速率收敛于$v$；
• 策略迭代收敛于$v^{\ast }$。