bellman operator 和bellman equation概念区分

在阅读强化学习相关的论文时经常会遇到bellman operator和bellman equation，例如：状态动作值函数的贝尔曼等式：

状态动作值函数的贝尔曼算子：

那么这两个东西到底有什么区别呢？首先给出结论，这两个东西的等价的。证明如下：
$$v_{\pi }(s)=\sum _{a\in \mathcal{A}}\pi (a\mid s)\left({\mathcal{R}}_s^a+\gamma \sum _{s^{\prime }\in \mathcal{S}}{\mathcal{P}}_{s{s}^{\prime }}^a{v}_{\pi }\left(s^{\prime }\right)\right)$$
展开
$$v_{\pi }(s)=\sum _{a\in \mathcal{A}}\pi (a\mid s){\mathcal{R}}_s^a+\gamma \sum _{a\in \mathcal{A}}\pi (a\mid s)\sum _{s^{\prime }\in \mathcal{S}}{\mathcal{P}}_{s{s}^{\prime }}^a{v}_{\pi }\left(s^{\prime }\right)$$
左边项可以写成
$${\mathcal{R}}_s^{\pi }=\sum _{a\in \mathcal{A}}\pi (a\mid s){\mathcal{R}}_s^a$$
右边项可以写成
$${\mathcal{P}}_{s{s}^{\prime }}^{\pi }=\sum _{a\in \mathcal{A}}\pi (a\mid s){\mathcal{P}}_{s{s}^{\prime }}^a$$
于是原来bellman equation变成
$$v_{\pi }(s)={\mathcal{R}}_s^{\pi }+\gamma \sum _{s^{\prime }\in \mathcal{S}}{\mathcal{P}}_{s{s}^{\prime }}^{\pi }{v}_{\pi }\left(s^{\prime }\right)$$
对于一个batch的数据，上面的式子进一步简化：
$$v_{\pi }={\mathcal{R}}^{\pi }+\gamma {\mathcal{P}}^{\pi }{v}_{\pi }$$
而对应的bellman operator是这样的：
$${\mathcal{T}}^{\pi }(v)={\mathcal{R}}^{\pi }+\gamma {\mathcal{P}}^{\pi }v$$
就是用bellman operator更新v，而这个bellman operator由pi决定。和原来bellman equation中更具策略pi更新v本质上是一样的。形式的不同就是把pi提到贝尔曼算子的符号上。
那为什么要改写呢？是因为贝尔曼算子的收缩性能够用来证明v的值最后可以收敛到固定的点。所以贝尔曼算子就是用来理论推导的。

参考资料

如果有理解不对的地方，希望各位大佬批评指正！