（《机器学习》完整版系列）第16章 强化学习——16.5 策略改进（单调递增有界序列必收敛）

有模型策略估值算法可得到所有状态在给定策略下的值，这样就可以对多个策略进行比较选优，不断地调整策略，使其达到最优。
方法：构造出“勉强”的单调递增有界序列（对应策略序列），利用单调递增有界序列必收敛的定理进行推导。

策略改进

上篇16.4 有模型策略估值算法中用策略估值算法可得到所有状态$x$在策略$\pi$下的 { V π ( x ) } x ∈ A \{V^{\pi }(x)\}_{x\in A} {Vπ(x)}x∈A​，就可以对多个策略进行比较选优，下面讨论最优策略算法，即调整策略$\pi$，使其达到最优。

最优策略的目标是“状态值的均值”（奖赏均值）最大化
$$\begin{array}{r}\underset{\pi }{\max }\underset{x\in X}{\mathbb{E}}{V}^{\pi }(x)\end{array}\text{\hspace{1em}(16.25)}$$

在状态有限且各状态等概率地作为出发点$x_0$的条件下，式(16.25)化为
$$\begin{array}{r}\underset{\pi }{\max }\frac{1}{|X|}\sum _{x\in X}{V}^{\pi }(x)\end{array}\text{\hspace{1em}(16.26)}$$
这时，最优策略为
$$\begin{array}{rl}{\pi }^{\ast }& =\underset{\pi }{\mathrm{argmax}}\frac{1}{|X|}\sum _{x\in X}{V}^{\pi }(x)\\ & =\underset{\pi }{\mathrm{argmax}}\sum _{x\in X}{V}^{\pi }(x)\end{array}\text{\hspace{1em}(16.27)}$$
由于可能会有等值情况（类似于投票时，出现相同票数），故式(16.27)的解${\pi }^{\ast }$可以不唯一。

将${\pi }^{\ast }$取代式(16.17)中的$\pi$，则有
$$\begin{array}{rl}{V}^{{\pi }^{\ast }}(x)& =\sum _{a\in A}{\pi }^{\ast }(x,a)Q^{{\pi }^{\ast }}(x,a)\\ & ⩽\sum _{a\in A}{\pi }^{\ast }(x,a)Q^{{\pi }^{\ast }}(x,a^{\ast })\text{（取a∗=a∈AargmaxQπ∗(x,a)）}\\ & =Q^{{\pi }^{\ast }}(x,a^{\ast })\sum _{a\in A}{\pi }^{\ast }(x,a)\\ & =Q^{{\pi }^{\ast }}(x,a^{\ast })\\ & =\underset{a\in A}{\max }{Q}^{{\pi }^{\ast }}(x,a)\end{array}\text{\hspace{1em}(16.28)(16.29)}$$
由于最优$V^{{\pi }^{\ast }}(x)$已经达到了最大值，故不等式(16.28)实为等式（否则右则更优），将上标“${\pi }^{\ast }$”简记为“$\ast$”，则有
$$\begin{array}{rl}{V}^{\ast }(x)& =\underset{a\in A}{\max }{Q}^{\ast }(x,a)\end{array}\text{\hspace{1em}(16.30)}$$

将式(16.30)代入【西瓜书式(16.10)】右侧（用${\pi }^{\ast }$取代$\pi$后），则得最优状态-动作值函数等式【西瓜书式(16.15)】。 反过来，将【西瓜书式(16.10)】（用${\pi }^{\ast }$取代$\pi$后）代入式(16.30)右侧，则得最优状态值函数等式【西瓜书式(16.13)】。

最优值函数的等式（【西瓜书式(16.13)】【西瓜书式(16.15)】）称为最优Bellman等式。 显然，给定${\pi }^{\ast }$后，最优值函数是唯一确定的，而反之，式(16.27)告诉我们${\pi }^{\ast }$可能不唯一。

最优Bellman等式的另一个推导思路：

假定已计算出所有点处的步数为$T-1$的最优值$V_{T-1}^{\ast }(x^{\prime })$，则由【西瓜书式(16.7)】有
$$\begin{array}{rl}{V}_T^{\ast }(x)& =\sum _{a\in A}{\pi }^{\ast }(x,a)\sum _{x^{\prime }\in A}{P}_{x\to x^{\prime }}^a\left(\frac{1}{T}{R}_{x\to x^{\prime }}^a+\frac{T-1}{T}{V}_{T-1}^{\ast }(x^{\prime })\right)\\ & ⩽\sum _{a\in A}{\pi }^{\ast }(x,a)\underset{a\in A}{\max }\sum _{x^{\prime }\in A}{P}_{x\to x^{\prime }}^a\left(\frac{1}{T}{R}_{x\to x^{\prime }}^a+\frac{T-1}{T}{V}_{T-1}^{\ast }(x^{\prime })\right)\\ & =\underset{a\in A}{\max }\sum _{x^{\prime }\in A}{P}_{x\to x^{\prime }}^a\left(\frac{1}{T}{R}_{x\to x^{\prime }}^a+\frac{T-1}{T}{V}_{T-1}^{\ast }(x^{\prime })\right)\sum _{a\in A}{\pi }^{\ast }(x,a)\\ & =\underset{a\in A}{\max }\sum _{x^{\prime }\in A}{P}_{x\to x^{\prime }}^a\left(\frac{1}{T}{R}_{x\to x^{\prime }}^a+\frac{T-1}{T}{V}_{T-1}^{\ast }(x^{\prime })\right)\end{array}\text{\hspace{1em}(16.31)}$$
再由$V_T^{\ast }(x)$的最优性（最大）知，式(16.31)应取等号，这即证【西瓜书式(16.13)】第一式；同样，由【西瓜书式(16.8)】，从最优值$V_{\gamma ,+\infty }^{\ast }(x^{\prime })$递推出最优值$V_{\gamma ,+\infty +1}^{\ast }(x)$，类似即证【西瓜书式(16.13)】第二式。

最优Bellman等式只是：在已知最优策略${\pi }^{\ast }$的情况下，求最优值函数$V^{\ast }$和$Q^{\ast }$的递推方法。 那么，如何利用它求最优策略${\pi }^{\ast }$？方法就是：把最优Bellman等式作为检验策略是否最优的判别式，即最优策略应满足
$$\begin{array}{rl}{V}_T^{{\pi }^{\ast }}(x)& =\underset{a\in A}{\max }\sum _{x^{\prime }\in A}{P}_{x\to x^{\prime }}^a\left(\frac{1}{T}{R}_{x\to x^{\prime }}^a+\frac{T-1}{T}{V}_{T-1}^{{\pi }^{\ast }}(x^{\prime })\right)\end{array}\text{\hspace{1em}(16.32)}$$
然后，参照式(16.32)的结构，构造一个关于策略改进的递推式（$\pi \to {\pi }^{\prime }$）
$$\begin{array}{rl}{V}_T^{{\pi }^{\prime }}(x)& =\underset{a\in A}{\max }\sum _{x^{\prime }\in A}{P}_{x\to x^{\prime }}^a\left(\frac{1}{T}{R}_{x\to x^{\prime }}^a+\frac{T-1}{T}{V}_{T-1}^{\pi }(x^{\prime })\right)\\ & =\sum _{x^{\prime }\in A}{P}_{x\to x^{\prime }}^{a^{\prime }}\left(\frac{1}{T}{R}_{x\to x^{\prime }}^{a^{\prime }}+\frac{T-1}{T}{V}_{T-1}^{\pi }(x^{\prime })\right)\end{array}\text{\hspace{1em}(16.33)}$$
其中，$a^{\prime }={\pi }^{\prime }(x)$，改善
$$\begin{array}{rl}{\pi }^{\prime }(x)& =\underset{a\in A}{\mathrm{argmax}}\sum _{x^{\prime }\in A}{P}_{x\to x^{\prime }}^a\left(\frac{1}{T}{R}_{x\to x^{\prime }}^a+\frac{T-1}{T}{V}_{T-1}^{\pi }(x^{\prime })\right)\end{array}\text{\hspace{1em}(16.34)}$$
由【西瓜书式(16.10)】，式(16.34)变为
$$\begin{array}{r}{a}^{\prime }={\pi }^{\prime }(x)=\underset{a\in A}{\mathrm{argmax}}{Q}^{\pi }(x,a)\end{array}\text{\hspace{1em}(16.35)}$$
其中，$Q$为$Q_T$或$Q_{\gamma }$（对应于$V_T$和$V_{\gamma }$）。

在此新策略${\pi }^{\prime }$下，16.3 有模型迭代式的详细推导图16.6 变为图16.10 ，其 中保留权重最大的一支（$x\to a^{\prime }$），删除其他分枝（类似于剪枝）。

图16.10 新策略$\pi '$下状态转移

由此可知，基于已知的随机策略$\pi$（16.3 有模型迭代式的详细推导图16.6 ）的改进策略${\pi }^{\prime }$（图16.10 ）是确定性策略。
即这时相当于16.3 有模型迭代式的详细推导图16.6 中有
$$\begin{array}{r}{\pi }^{\prime }(x,a)=\{\begin{array}{l}1,\text{（a=a′）}\\ 0,\text{（a=a′）}\end{array}\end{array}\text{\hspace{1em}(16.36)}$$
其中，$a^{\prime }$由式(16.35)定义。

当$T$较大时，从$x^{\prime }$出发的$T$步值$V_T^{\pi }(x^{\prime })$与$T-1$步值$V_{T-1}^{\pi }(x^{\prime })$近似。观察式(16.33)：$a^{\prime }$由式(16.35)中$x$确定，$x^{\prime }$由“和”消去（即它为局部变量），$x$为自变量，包含两个递进（$T-1\to T$，$\pi \to {\pi }^{\prime }$），因此，应消去递进（$T-1\to T$），保留需要的递进（$\pi \to {\pi }^{\prime }$），由式(16.21)知取近似合理。
因此，式(16.33)调整为
$$\begin{array}{rl}{V}_T^{{\pi }^{\prime }}(x)& =\sum _{x^{\prime }\in A}{P}_{x\to x^{\prime }}^{a^{\prime }}\left(\frac{1}{T}{R}_{x\to x^{\prime }}^{a^{\prime }}+\frac{T-1}{T}{V}_T^{\pi }(x^{\prime })\right)\end{array}\text{\hspace{1em}(16.37)}$$
这就是一个“$T$型累积”的策略改进的递推式（$\pi \to {\pi }^{\prime }$）。

对应的“$\gamma$型累积”的策略改进的递推式为
$$\begin{array}{rl}{V}_{\gamma }^{{\pi }^{\prime }}(x)& =\sum _{x^{\prime }\in A}{P}_{x\to x^{\prime }}^{a^{\prime }}(R_{x\to x^{\prime }}^{a^{\prime }}+\gamma V_{\gamma }^{\pi }(x^{\prime }))\end{array}\text{\hspace{1em}(16.38)}$$
策略改进序列如图16.11 所示。

图16.11 策略改进序列

下面我们证明单调性$V_{\gamma }^{\pi }(x)⩽V_{\gamma }^{{\pi }^{\prime }}(x)$：
$$\begin{array}{rl}{V}_{\gamma }^{\pi }(x)& =\sum _{a\in A}\pi (x,a)Q_{\gamma }^{\pi }(x,a)\text{（由式(16.17)）}\\ & ⩽\sum _{a\in A}\pi (x,a)Q_{\gamma }^{\pi }(x,a^{\prime })\text{（由式(16.35)）}\\ & =Q_{\gamma }^{\pi }(x,a^{\prime })\sum _{a\in A}\pi (x,a)\\ & =Q_{\gamma }^{\pi }(x,a^{\prime })\\ & =\sum _{x^{\prime }\in A}{P}_{x\to x^{\prime }}^{a^{\prime }}\left(R_{x\to x^{\prime }}^{a^{\prime }}+\gamma V_{\gamma }^{\pi }(x^{\prime })\right)\text{（由【西瓜书式(16.10)】）}\\ & =V_{\gamma }^{{\pi }^{\prime }}(x)\text{（由式(16.38)）}\end{array}\text{\hspace{1em}(16.39)}$$

由式(16.39)知，值函数序列（右上角编号对应于策略$\pi$的改进序列${\pi }_1,{\pi }_2,{\pi }_3,\cdots$）
$$\begin{array}{r}{V}_{\gamma }^1(x),V_{\gamma }^2(x),V_{\gamma }^3(x),\cdots \end{array}\text{\hspace{1em}(16.40)}$$
是单调递增。

设$R_{\max }=\underset{x\in X}{\max }(R_{x\to x^{\prime }}^a)$，有
$$\begin{array}{rl}{V}_{\gamma }^{\pi }(x)& =\underset{\pi }{\mathbb{E}}\sum _{t=0}^{\infty }{\gamma }^t{r}_{t+1}\\ & =\underset{\pi }{\mathbb{E}}\sum _{t=0}^{\infty }{\gamma }^t\left(\sum _{a\in A}\pi (x_t,a)\sum _{x_{t+1}\in A}{P}_{x_t\to x_{t+1}}^a{R}_{x_t\to x_{t+1}}^a\right)\\ & ⩽\underset{\pi }{\mathbb{E}}\sum _{t=0}^{\infty }{\gamma }^t\left(\sum _{a\in A}\pi (x_t,a)\sum _{x_{t+1}\in A}{P}_{x_t\to x_{t+1}}^a{R}_{\max }\right)\\ & =\underset{\pi }{\mathbb{E}}\sum _{t=0}^{\infty }{\gamma }^t{R}_{\max }\\ & =R_{\max }\sum _{t=0}^{\infty }{\gamma }^t\\ & =\frac{R_{\max }}{1-\gamma }\end{array}\text{\hspace{1em}(16.41)}$$
由式(16.41)知它有界。

数学上已知：单调递增有界序列必收敛，故序列(16.40)收敛，从而对应的策略改进序列也收敛，对式(16.33)中的策略取极限，即得到（满足）最优Bellman等式。

同样，得到$V_T^{\pi }$型中策略的改进式也为式(16.35)。

也可以证明它是有界的：

设$R_{\max }=\underset{x\in X}{\max }(R_{x\to x^{\prime }}^a,V_1^{\pi }(x))$，则$V_1^{\pi }(x)⩽R_{\max }$

若假设$V_{K-1}^{\pi }(x)⩽R_{\max }$，则
$$\begin{array}{rl}{V}_K^{\pi }(x)& =\sum _{a\in A}\pi (x,a)\sum _{x^{\prime }\in A}{P}_{x\to x^{\prime }}^a\left(\frac{1}{K}{R}_{x\to x^{\prime }}^a+\frac{K-1}{K}{V}_{K-1}^{\pi }(x^{\prime })\right)\\ & ⩽\sum _{a\in A}\pi (x,a)\sum _{x^{\prime }\in A}{P}_{x\to x^{\prime }}^a\left(\frac{1}{K}{R}_{\max }+\frac{K-1}{K}{V}_{K-1}^{\pi }(x^{\prime })\right)\\ & =\frac{1}{K}{R}_{\max }+\sum _{a\in A}\pi (x,a)\sum _{x^{\prime }\in A}{P}_{x\to x^{\prime }}^a\left(\frac{K-1}{K}{V}_{K-1}^{\pi }(x^{\prime })\right)\\ & ⩽\frac{1}{K}{R}_{\max }+\sum _{a\in A}\pi (x,a)\sum _{x^{\prime }\in A}{P}_{x\to x^{\prime }}^a\left(\frac{K-1}{K}{R}_{\max }\right)\text{（由数学归纳法假设）}\\ & =\frac{1}{K}{R}_{\max }+\frac{K-1}{K}{R}_{\max }\\ & =R_{\max }(x)\end{array}\text{\hspace{1em}(16.42)}$$
由式(16.42)及数学归纳法原理，故$V_T^{\pi }(x)$有界。

然而，改进序列的单调递增性有些“勉强”：
$$\begin{array}{rl}{V}_T^{\pi }(x)& =\sum _{a\in A}\pi (x,a)Q_T^{\pi }(x,a)\text{（由式(16.17)）}\\ & ⩽\sum _{a\in A}\pi (x,a)Q_T^{\pi }(x,a^{\prime })\text{（由式(16.35)）}\\ & =Q_T^{\pi }(x,a^{\prime })\sum _{a\in A}\pi (x,a)\\ & =Q_T^{\pi }(x,a^{\prime })\\ & =\sum _{x^{\prime }\in A}{P}_{x\to x^{\prime }}^{a^{\prime }}\left(\frac{1}{T}{R}_{x\to x^{\prime }}^{a^{\prime }}+\frac{T-1}{T}{V}_{T-1}^{{\pi }^{\prime }}(x^{\prime })\right)\text{（由【西瓜书式(16.10)】）}\\ & \approx \sum _{x^{\prime }\in A}{P}_{x\to x^{\prime }}^{a^{\prime }}\left(\frac{1}{T}{R}_{x\to x^{\prime }}^{a^{\prime }}+\frac{T-1}{T}{V}_T^{{\pi }^{\prime }}(x^{\prime })\right)\text{（由式(16.21)）}\\ & =V_T^{{\pi }^{\prime }}(x)\text{（由式(16.37)）}\end{array}\text{\hspace{1em}(16.43)(16.44)(16.45)}$$
当式(16.44)的“$\approx$”变为“$⩾$”且“压过”式(16.43)的“$⩽$”时，有$V_T^{\pi }(x)⩾V_T^{{\pi }^{\prime }}(x)$，即这时$V_T^{\pi }(x)⩽V_T^{{\pi }^{\prime }}(x)$不成立，如$(V_T^{\pi }(x)=)1.001⩽1.002\approx 1(=V_T^{{\pi }^{\prime }}(x))$，这说明单调递增性有些“勉强”。 但在绝大多数情况下，式(16.43)的“$⩽$”会“压过”式(16.44)的“$\approx$”的，故可视为单调递增性成立，从而可应用“单调有界序列必收敛（有极限）”。

本文为原创，您可以：

• 点赞（支持博主）
• 收藏（待以后看）
• 转发（他考研或学习，正需要）
• 评论（或讨论）
• 引用（支持原创）
• 不侵权
  上一篇：16.4 有模型策略估值算法
  下一篇：16.6 策略迭代与值迭代算法