本文深入探讨了压缩映射的概念，证明了在度量空间上，Bellman期望算子和Bellman最优算子作为压缩映射的性质。通过分析策略的Bellman期望算子和最优的Bellman算子，展示了它们如何满足压缩映射的条件，从而为理解和应用强化学习的理论奠定了基础。
3.1.2 压缩映射与Bellman算子
本节介绍压缩映射的定义，并证明Bellman期望算子和Bellman最优算子是度量空间上的压缩映射。
对于一个度量空间和其上的一个映射，如果存在某个实数，使得对于任意的，都有
则称映射是压缩映射（contraction mapping，或Lipschitzian mapping）。其中的实数被称为Lipschitz常数。
第2章中介绍了Bellman期望方程和Bellman最优方程。这两个方程都有用动作价值表示动作价值的形式。根据这个形式，我们可以为度量空间定义Bellman期望算子和Bellman最优算子。
给定策略（）的Bellman期望算子：
Bellman最优算子：
下面我们就来证明，这两个算子都是压缩映射。
首先来看Bellman期望算子。由的定义可知，对任意的，有
最低0.47元/天 解锁文章
576
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
