（《机器学习》完整版系列）第16章 强化学习——16.4 有模型策略估值算法

已知策略，计算执行该策略获得的（平均）奖赏，即是策略估值，本篇利用Bellman等式【西瓜书式(16.7)(16.8)】进行策略估值。

策略估值算法

已知策略$\pi$，计算执行该策略获得的（平均）奖赏，即是策略估值，下面我们利用Bellman等式【西瓜书式(16.7)(16.8)】（它是递归等式，16.3 有模型迭代式的详细推导）进行策略估值：

（1）基于$T$步累积奖赏的策略估值算法

由$T$步累积奖赏的递推式【西瓜书式(16.7)】（它是基于链长度的递进：$(T-1)\to T$），可以从右边的 { V T − 1 π ( x ′ ) } x ′ ∈ X \{V^{\pi}_{T-1}(x')\}_{x'\in X} {VT−1π​(x′)}x′∈X​导出左边的 { V T π ( x ) } x ∈ X \{V_T^{\pi}(x)\}_{x\in X} {VTπ​(x)}x∈X​，调整一下下标字母，即从 { V t − 1 π ( x ) } x ∈ X \{V^{\pi}_{t-1}(x)\}_{x\in X} {Vt−1π​(x)}x∈X​导出 { V t π ( x ) } x ∈ X \{V_t^{\pi}(x)\}_{x\in X} {Vtπ​(x)}x∈X​，即
$$\begin{array}{rl}{V}_t^{\pi }(x)& =\sum _{a\in A}\pi (x,a)\sum _{x^{\prime }\in A}{P}_{x\to x^{\prime }}^a\left(\frac{1}{t}{R}_{x\to x^{\prime }}^a+\frac{t-1}{t}{V}_{t-1}^{\pi }(x^{\prime })\right)\end{array}\text{\hspace{1em}(16.22)}$$
现在让下标$t$递进变化地使用式(16.22)：

(i) 初始化： { V 1 π ( x ) } x ∈ X \{V_1^{\pi}(x)\}_{x\in X} {V1π​(x)}x∈X​（针对每个状态，评估从它出发完成任务的成本来粗略定义奖赏，可以是负数）.

(ii) 对所有$x\in X$应用递推式(16.22)进行迭代，即产生序列：
$$V_1^{\pi }(x),V_2^{\pi }(x),V_3^{\pi }(x),\cdots$$

(iii) 直至 { V T π ( x ) } x ∈ X \{V_T^{\pi}(x)\}_{x\in X} {VTπ​(x)}x∈X​终止，输出 { V T π ( x ) } x ∈ X \{V_T^{\pi}(x)\}_{x\in X} {VTπ​(x)}x∈X​。

分别记$V_{t-1}^{\pi }$为$V$、$V_t^{\pi }$为$V^{\prime }$，上述过程整理成算法，即为【西瓜书图16.7】所示。

（2）基于$\gamma$折扣累积奖赏的策略估值算法

我们引入迭代步记号$s$，
将式(16.16)视为运行一迭代步“$s\to s+1$”，即将它调整为式(16.23)
$$\begin{array}{rl}{V}_{\gamma ,s+1}^{\pi }(x)& =\sum _{a\in A}\pi (x,a)\sum _{x^{\prime }\in A}{P}_{x\to x^{\prime }}^a\left(R_{x\to x^{\prime }}^a+\gamma V_{\gamma ,s}^{\pi }(x^{\prime })\right)\end{array}\text{\hspace{1em}(16.23)}$$

由式(16.23)，可以从右边的 { V γ , s π ( x ′ ) } x ′ ∈ X \{V^{\pi}_{\gamma,s}(x')\}_{x'\in X} {Vγ,sπ​(x′)}x′∈X​导出左边的 { V γ , s + 1 π ( x ) } x ∈ X \{V^{\pi}_{\gamma,s+1}(x)\}_{x\in X} {Vγ,s+1π​(x)}x∈X​，
由此有

(i) 初始化： { V γ , 1 π ( x ) } x ∈ X \{V^{\pi}_{\gamma,1}(x)\}_{x\in X} {Vγ,1π​(x)}x∈X​全为0（注意与“$T$型”模型不同：（1）这里的$V_{\gamma ,1}^{\pi }$仍是无限步，因$V_{\gamma ,s}^{\pi }$是无限步，$V_{\gamma ,1}^{\pi }$是$V_{\gamma ,s}^{\pi }$的尾巴，当然有无限长；（2）当$s$很大时，由迭代式(16.23)知，相关项${\gamma }^s{V}_{\gamma ,1}^{\pi }(x)$对$V_{\gamma ,s+1}^{\pi }(x)$影响很小，即在折扣$\gamma$下，遥远未来的值折现几乎为0，故不妨直接设为0）.

(ii) 对所有$x\in X$应用递推式(16.23)进行迭代，依次得到
$$V_{\gamma ,1}^{\pi }(x),V_{\gamma ,2}^{\pi }(x),V_{\gamma ,3}^{\pi }(x),V_{\gamma ,4}^{\pi }(x),\cdots$$

(iii) 直至值的增长小于给定的阈值：
$$\underset{x\in X}{\max }|V_{\gamma ,s+1}^{\pi }(x)-V_{\gamma ,s}^{\pi }(x)|<\theta$$
则终止算法，输出 { V γ , s + 1 π ( x ) } x ∈ X \{V^{\pi}_{\gamma,s+1}(x)\}_{x\in X} {Vγ,s+1π​(x)}x∈X​。

即该算法框架符合【西瓜书图16.7】所示。

注意：对策略进行估值并不需要做蒙特卡罗试验，只需利用Bellman等式，依它的递归关系反复计算直至收敛即可。

另外，一种常见的错误思路：使用式(16.16)运行步进行“$x\to x^{\prime }$”迭代，即
$$\begin{array}{rl}{V}_{\gamma }^{\pi }(x)& =\sum _{a\in A}\pi (x,a)\sum _{x^{\prime }\in A}{P}_{x\to x^{\prime }}^a(R_{x\to x^{\prime }}^a+\gamma \text{（对Vγπ(x′)运用式(16.16)）})\\ & =\sum _{a\in A}\pi (x,a)\sum _{x^{\prime }\in A}{P}_{x\to x^{\prime }}^a(R_{x\to x^{\prime }}^a+\gamma (\sum _{a\in A}\pi (x^{\prime },a)\sum _{x^{\prime \prime }\in A}{P}_{x\to x^{\prime \prime }}^a(R_{x\to x^{\prime \prime }}^a+\gamma \\ & V_{\gamma }^{\pi }(x^{\prime \prime })))\text{（对Vγπ(x′′)运用式(16.16)）})\\ & =\cdots \end{array}\text{\hspace{1em}(16.24)}$$

状态转移图中一定有环，假如“$x\to x^{\prime }\to x^{\prime \prime }\to x$”，这时，该式两边都出现了$V_{\gamma }^{\pi }(x)$，因此，不能用运行步作为迭代步，必须另辟溪径。

本文为原创，您可以：

• 点赞（支持博主）
• 收藏（待以后看）
• 转发（他考研或学习，正需要）
• 评论（或讨论）
• 引用（支持原创）
• 不侵权

上一篇：16.3 有模型迭代式的详细推导（并更正一些错误思路）
下一篇：16.5 策略改进（单调递增有界序列必收敛）