贝尔曼最优方程收敛性证明

贝尔曼方程有两种形式「贝尔曼期望方程」和「贝尔曼最优方程」，贝尔曼期望方程是在求解价值函数$v_{\pi }(s)$或者Q函数$q_{\pi }(s,a)$的时候使用，而贝尔曼最优方程则在求解最优策略时使用，

那么为什么贝尔曼最优方式是收敛的？简单来说Belman最优公式对应的算子是完备度量空间（也叫完备空间，空间中的任何柯西序列都收敛在该空间之内）上的一个压缩映射，根据巴拿赫不动点定理（也叫压缩映射定理或压缩映射原理），可以保证压缩映射不动点的存在性和唯一性。

以下转载自https://towardsdatascience.com/mathematical-analysis-of-reinforcement-learning-bellman-equation-ac9f0954e19f，来证明Bellman Optimality Equation为啥是收敛的：