【强化学习理论基础-通用】(09)从零开始白话给你讲[数学原理]：贝尔曼最优公式(Bellman Optimality)求解，不动点，压缩函数(映射)，价值迭代高效求解

若需观看机器人系列相关博客，请劳驾至：【足式机器人无死角系列之-【强化学习基础-通用】、【仿真及训练环境】、【强化学习】：isaac-gym 与 isaac-lab 从零开始

$郑重声明：该系列博客为本人(WenhaiZhu)独家私有,禁止转载与抄袭,首次举报有谢,若有需请私信授权！$

引导: 在上一篇博客中提到贝尔曼最优公式依旧为贝尔曼公式 v=r+γPv，只是其中的状态矩阵 P 特殊一些。最后提及到，其是一个 f(x)=x 形式的矩阵方程。这种方程式有一种很特别的迭代求解方式，会在该篇博客进行展开讲解。

$本系列博客链接为：$【强化学习理论基础-通用】(01)从零开始白话给你讲，简单推导公式，深刻理解，一眼万年！：https://blog.csdn.net/weixin_43013761/article/details/143168169

$本博客编写于：20241028，台式机为ubuntu20.04，3090GeForceRTX显存24G$：与你现在的代码，或者环境等存在一定差异也在情理之中，故切勿认为该系列博客绝对正确，且百密必有一疏，若发现错误处，恳请各位读者直接指出，本人会尽快进行整改，尽量使得后面的读者少踩坑，评论部分我会进行记录与感谢，只有这样，该系列博客才能成为精品，这里先拜谢各位朋友了。

$文末正下方中心提供了本人联系方式，点击本人照片即可显示WX\to 官方认证，请备注强化学习。$

一、前言

这里把贝尔曼公式最优公式先列一下，毕竟是上一篇博客成果：
$$v_{\pi }=r_{\pi }+\gamma \mathrm{P}{v}_{\pi }\text{\hspace{1em}(01)}$$其是一种比较特殊的函数形式，这里我们把 $r_{\pi }+\gamma \mathrm{P}{v}_{\pi }$ 记做 $f(v_{\pi })$，那么我们可以获得一个有意思的矩阵函数如下所示：
$$f(v_{\pi })=v_{\pi }为方便记：f(x)=x\text{\hspace{1em}(02)}$$ 有点意思吧，一个变量 $v_{\pi }$ 经过函数 $f$ 变换之后，依旧是其本身。于这种函数是存在不动点(fixed point)的。具体为什么这样称呼呢？

不动点(fixed point): 这个还是比较好理解的，就是一个变量x，其经过函数 f(x) 之后，依旧为 x，有点类似于一个球一样，从任意点出发，绕一圈之后都是回到原点。如果函数的有限次迭代之后回到相同值的点叫做周期点；不动点是周期等于 1 的周期点，也就是说不动点是周期点的一种特殊情况。这样理解更加直白：连续映射 f 的定义域包含值域，则存在一个 x 使得 f(x)=x

不动点函数在某些条件的约束，可以成为 contraction function(压缩函数)、contraction mapping(压缩映射)，他们是一样的，因为数学中的函数本身就是映射的意思。定义如下：

contraction function(压缩函数)、contraction mapping(压缩映射): 这两个表达的是一个意思，只是叫法不同，定义是这样的：∥f(x1)−f(x 2)∥≤γ∥x1−x 2∥，其中 0 < r <1。|| 表示为求模长。可以直观的感到的是，原本定义域为 [x1,x2] 或[x2,x1]。经过函数时候 f 之后呢，输出的值域比定义域范围变少了。注意，是范围变小了，输出的值域必须是定义域的子集。

二、普通压缩函数

$严格定义：$ 设函数 f 在区间 $[a,b]$ 上定义， $f([a,b])\subset (a,b)$ ，并存在一个常数 $\gamma$ ，满足$0<\gamma <1$ ，使得对一切 $x,y\in [a,b]$ , 成立不等式 $|f(x)-f(y)|\le \gamma |x-y|$ , 则称 $f$ 是 $[a,b]$ 上的一个压缩映射, 称常数 $\gamma$为压缩常数.

$判定定理：$ $\gamma$ 如果在区间 $[a,b]$ 上有定义的函数 $f(x)$ 满足: $\forall x\in [a,b],\left|f^{\prime }(x)\right|⩽k<1$ , 则 $f(x)$ 是区间 $[a,b]$，上的压缩函数, 且压缩系数，$\lambda ={\left|f^{\prime }(x)\right|}_{max}$

为了更加深刻的体会到什么事压缩函数，这里先举一个简单的例子，比如说：
$$x=f(x)=0.7x\text{\hspace{1em}(03)}$$其存在一个不动点，也就是该函数的解 0，另外其符合压缩函数的定义：
$$\begin{array}{rlr}& \Vert f(x_1)-f(x_2)\Vert \le \gamma \Vert x_1-x_2\Vert & \\ =& ||0.7x_1-0.7x_2||\le \gamma ||x_1-x_2||& \\ =& 0.7||x_1-x_2||\le \gamma ||x_1-x_2||& \end{array}\text{\hspace{1em}(04)}$$ 可以知道当 $\gamma \in [0.7,1]$ 是满足压缩函数定义，故在该条件下，其为压缩函数。

三、矩阵压缩函数

那么对于一个矩阵函数，如何判断其是否为压缩函数呢，这里需要了解的一个知识点是，矩阵 $A$ 作用于一个向量上(如左乘)，其行列式的意义是表示对原向量空间的缩放程度，如果其行列式为 $||A||=1$，则表示没有
进行缩放，$||A||>1$ 则表示对原向量空间的拉升，如果 $||A||<1$ 则表示一堆原向量空间的压缩。这些知识点都是线性代数或高等代数的相关知识，这里就不多说了。

如果一个函数 $x=Ax$，且 $x\in {\mathbb{R}}^n$，$\exists \gamma \in (0,1)$ 使得： $$\Vert A{x}_1-A{x}_2\Vert =\Vert A\left(x_1-x_2\right)\Vert \le \Vert A\Vert \Vert x_1-x_2\Vert \le \gamma \Vert x_1-x_2\Vert \text{\hspace{1em}(05)}$$ 那么则认为其是一个关于矩阵的压缩行数。可以很明显的知道存在一个不动点 $0$ 向量，因为 $0=A0$。

四、压缩函数迭代求解

对于压缩函数来说，其可以通过迭代的方式压缩求解，比如说 $x=\gamma f(x)$，我们可以给定一个初始值，$x_0$，让后带入获得 $x_1=f(x_0)$，下一次呢，再把 $x_1$ 带入得 $x_2=f(x_1)$，一直循环迭代下去。知道 $x_k=f(x_{k-1})$，当 $k$ 趋向于无穷时，$x_k$ 则与该函数的解相等。比如还是拿前面的例子来说：
$$x=f(x)=0.7x\text{\hspace{1em}(07)}$$
给定初始值 $x_0=5$，多次带入之后可得：
$$x_1=f(5)=0.7\ast 5=3.5x_2=f(x_1)=0.7\ast 3.5=2.45x_3=f(x_2)=0.7\ast 2.24=1.715\text{\hspace{1em}(08)}$$
一直这样循环迭代下去，当 $k\to +\infty$ 可以求得 $x\approx 0$。

五、贝尔曼公式最优公式求解

通过上一篇博客的推导，我们已经知道，贝尔曼最优公式，其实也是贝尔曼公式，这是其转移矩阵特殊一点而已，这里再把其矩阵形式抄写一遍，毕竟他很重要嘛：
$$v_{\pi }=r_{\pi }+\gamma \mathrm{P}{v}_{\pi }\text{\hspace{1em}(10)}$$首先来证明其是一个矩阵形式的压缩函数，把其写成(05)式的形式：
$$\begin{array}{rl}& ||f(v_{{\pi }_1})-f(v_{{\pi }_2})||\\ =& \Vert (r_{\pi }+\gamma P{v}_{{\pi }_1})-(r_{\pi }+\gamma P{v}_{{\pi }_2})||\\ =& \gamma ||P||||v_{{\pi }_1}-v_{{\pi }_2}||\end{array}\text{\hspace{1em}(04)}$$可以知道，若想成立 $$\gamma ||P||||v_{{\pi }_1}-v_{{\pi }_2}||\le |||v_{{\pi }_1}-v_{{\pi }_2}||\text{\hspace{1em}(11)}$$
知需要保证 $0<\gamma ||P||\le 1$ 即可。需要 $注意$ 的是，这里是求行列式 $||P||$，而不是前面推导的 $||(I-\gamma \mathrm{P})||$。因为贝尔曼最优公式的状态转移矩阵 $P$：
$$\mathrm{P}=\left[\begin{array}{cccc}\mathrm{p}(s_0\mid s_0)& \mathrm{p}(s_1\mid s_0)& \cdots & \mathrm{p}(s_n\mid s_0)\\ \mathrm{p}(s_0\mid s_1)& \mathrm{p}(s_1\mid s_1)& \cdots & \mathrm{p}(s_n\mid s_1)\\ ⋮& ⋮& \ddots & ⋮\\ \mathrm{p}(s_0\mid s_n)& \mathrm{p}(s_1\mid s_n)& \cdots & \mathrm{p}(s_n\mid s_n)\end{array}\right]\text{\hspace{1em}(24)}$$ 的每一行，只有一个 元素为 $1$，其余全为 $0$，那么他的行列式只能位于 $[0,1]$ 之间。这里就不进行详细推到了，毕竟是强化学习的博客。不过这里可以为大家举两个极端的例子，比如说矩阵的最后一列，即：$$[p(s_n\mid s_0)，p(s_n\mid s_0)，p(s_n\mid s_0)，\cdots ，p(s_n\mid s_0){]}^{\mathrm{T}}\text{\hspace{1em}(25)}$$全为 $1$ 时，如果用迷宫游戏来表示他的含义就是，无论你在什么位置，下一步都会到达终点 $s_3=s_n$。容易知道每一行都是线性相关的，那么该矩阵 $P$ 不可逆，所以其对应的行列式为 $0$。此时依旧满足 (11) 式。另外一种情况，就是 $P$ 为一个单位矩阵，那么他的行列式 $||P||$=1。此时正需保证 $\gamma <0$ 那么 $11$ 式则成立。

说了这么多，总的来说，就是 $v_{\pi }=r_{\pi }+\gamma \mathrm{P}{v}_{\pi }$ 其是一个矩阵形式的压缩函数或者说映射，那么我们可以通过迭代的方式，求解该矩阵方程，先随机给定一个初值 $v_{{\pi }_0}$，然后开始迭代运算：$$\begin{array}{rl}{v}_{{\pi }_1}=& r_{\pi }+\gamma \mathrm{P}{v}_{{\pi }_0}\\ v_{{\pi }_2}=& r_{\pi }+\gamma \mathrm{P}{v}_{{\pi }_1}\\ \cdots & \\ v_{{\pi }_k}=& r_{\pi }+\gamma \mathrm{P}{v}_{{\pi }_{k-1}}\end{array}\text{\hspace{1em}(26)}$$当 $k\to +\infty$ 时，$v_{{\pi }_k}$即为矩阵方程的解。不过通常来说，我们不需要迭代那么多次，可以设定一个阈值 t，当 $v_{{\pi }_k}-v_{{\pi }_{k-1}}<t$ 时，则认为结果已经收敛。

六、总结

通过该篇博客，我们知道了贝尔曼公式与贝尔曼最优公式都可以通过循环迭代的方式进行求解，因为他们是contraction function(压缩函数)、contraction mapping(压缩映射)。不过该推导过程都得建立在一个基础上，那就是状态转移矩阵式确定的，而不是变化的。且我们能够回到前面的一些列问题：

①: 贝尔曼最优方程成立，且有解。 ②: 贝尔曼最优方程的解是唯一确定的，且是贪婪(Greedy)的，因为其回报最大的动作概率为 1 ③: 贝尔曼最优方程是压缩函数，可以根据其性质使用迭代的方式求解

最后需要提到的一点是，贝尔曼最优公式中，所确认的是 $\pi (s,a_m)$ 固定为最大，但是并没有固定 $\pi$ 是唯一的。比如说，你训练神经网络，只需要回报最高那个动作执行概率为 $1$ 即可，而不是说，神经网络只能有一组参数。