3.1.2 压缩映射与Bellman算子
本节介绍压缩映射的定义,并证明Bellman期望算子和Bellman最优算子是度量空间上的压缩映射。
对于一个度量空间和其上的一个映射,如果存在某个实数,使得对于任意的,都有
则称映射是压缩映射(contraction mapping,或Lipschitzian mapping)。其中的实数被称为Lipschitz常数。
第2章中介绍了Bellman期望方程和Bellman最优方程。这两个方程都有用动作价值表示动作价值的形式。根据这个形式,我们可以为度量空间定义Bellman期望算子和Bellman最优算子。
给定策略()的Bellman期望算子:
Bellman最优算子:
下面我们就来证明,这两个算子都是压缩映射。
首先来看Bellman期望算子。由的定义可知,对任意的,有