清华大学李升波教授强化学习书籍《Reinforcement Learning for Sequential Decision and Optimal Control》读书笔记U8近似动态规划ADP 二

该书由清华大学李升波教授撰写的，主要面向工业控制领域的研究者和工程师，曾获得2024年度Springer中国新发展奖（China New Development Awards）。全书按照原理剖析、主流算法、典型示例的架构，系统地介绍了用于动态系统决策与控制的强化学习方法。全书共分为11章，内容涵盖了强化学习的基本概念、蒙特卡洛法、时序差分法、动态规划法、函数近似法、策略梯度法、近似动态规划、状态约束的处理和深度强化学习等知识点。书籍及源代码下载网站：书籍及代码链接点这里。

另外，由于本部分篇幅较长，因此分成两篇博客发表。另一篇博客的地址参考我的系列博客的地址汇总。

书籍链接：Reinforcement Learning for Sequential Decision and Optimal Control

本篇博客讲述ADP（Approximate Dynamic Programming）。ADP是最优控制与RL的集合。它适用于处理这样的问题：问题本身被建模为最优控制问题，系统的环境模型已知，但是如果直接使用最优控制的receding horizon control方法，需要在线计算，计算量大。因此，ADP尝试使用offline learning的方法来学习一个近似的最优控制器。ADP主要有两种主要类型，值迭代的ADP和策略迭代的ADP。

ADP的概念最早由Bellman等人提出，用于解决exact DP遭遇的维度灾难问题。二十世纪七十年代后期，Werbos提出将连续状态空间参数化，在参数空间中重新构建ADP问题。在二十世纪八十年代早期，Barto等人开始使用神经网络来近似ADP的actor和critic。在九十年代早期，基于模型的ADP与model-free的RL之间的联系逐渐变得明朗起来，ADP也因此取得了很大的发展，逐渐成为沟通最优控制与RL的桥梁。现在，ADP特指一种在确定性环境下工作，基于模型的RL方法，可以用来求解在非线性和有约束的环境中复杂的最优控制问题；可以实现较好的实时控制。

8.4 应用于追踪（Tracking）任务的ADP算法和它的策略结构

ADP和MPC都可以被视为一种求解通常的最优控制问题（OCP（的数值求解器。它们之间一个重要的区别在于怎么找到和应用最优策略。大多数的ADP算法是offline的，也就是说先在整个状态空间中进行离线的训练，之后就可以把训练好的策略视为一个最优控制器，来在online的快速给出最优动作。这样的offline的特点也使得ADP算算法具有很好的实时性。但是ADP算法常常会有一些performance loss，这是因为其策略通常是使用函数来近似的，那么如果函数本身的结构无法很好的近似我们的策略的话，就会出现上述情况。因此针对具体问题选择一个合适的策略结构是很重要的。

而MPC则是online的，它实时的计算一系列未来的最优策略，然后只执行第一个动作。这样很耗时间，但是好处是采取这样的控制策略得到的闭环策略与实际的开环的OCP的解是（几乎）一致的（除了一些可能的优化误差）。

8.4.1 Receding Horizon Control（RHC）中的两种时间域

最优追踪器包含了一系列控制任务，它的设计需要仔细地匹配问题定义和策略结构。为了不失一般性，我们定义一个标准的无限视野的（infinite-horizon）的追踪问题来比较不同的策略结构。我们下面引入Reciding Horizon Control（RHC）来更好地解释怎么为最优追踪器选择一个合适的策略结构。

尽管没有明确说明，但是实际上在RHC的视角下有两种时间域：real-time domain和virtual-time domain。如下图所示：

把这两种时间域区分开也可以为我们分析ADP提供一个新的视角，而这在之前的工作中几乎从未被提及。在ADP的框架下，我们可以把最优策略的训练视为在virtual-time domain中进行，而最优策略的应用视为在real-time domain中进行。

这样的视角可以帮助我们设计一个更高效的采样方式和更好的策略结构。

8.4.2 在Real-time Domain中定义的Tracking ADP

首先，我们来定义一个infinite-horizon的，在real-time domain中定义的cost function（也就是值函数，只不过这里我们要最小化）：
$$V(x_t,X^R)=\sum _{i=0}^{\infty }l(x_{t+i}^R-x_{t+i},u_{t+i}),$$ 这里的t是real-time domain中的时间步， X R = { x t R , x t + 1 R , ⋯   , x ∞ R } X^{R}=\{x_{t}^{R},x_{t+1}^{R},\cdots,x_{\infty}^{R}\} XR={xtR​,xt+1R​,⋯,x∞R​}的概念。这里的轨迹不仅包含位置信息，还包含时间信息。而我们通常所说的那种只包含位置信息的其实是路径（path）。因此才会在我们的参考轨迹$X^R$中看到带有时间下标的状态，可以简单理解为在参考轨迹上的每个点代表在每个时间点应该到达什么状态。这里我们的值函数的输入不再只有当前状态，还包含了参考轨迹。而且这里的utility function里通常应该是状态的的位置现在被替换为了当前状态与参考轨迹上的状态的差值$x_{t+i}^R-x_{t+i}$。

我们将开环的最优动作序列记为 { u t ∗ , u t + 1 ∗ , ⋯   , u ∞ ∗ } \{u_t^*,u_{t+1}^*,\cdots,u_\infty^*\} {ut∗​,ut+1∗​,⋯,u∞∗​}，那么根据这个最优的开环最优动作序列，可以得到cost function的最优值。那么开环的Bellman方程可以写成：
V O p e n ∗ ( x t , X R ) = min ⁡ u { l ( x t R − x t , u ) + V O p e n ∗ ( x t + 1 , X R ) } . V_{\mathrm{Open}}^*(x_t,X^R)=\min_u\{l(x_t^R-x_t,u)+V_{\mathrm{Open}}^*(x_{t+1},X^R)\}. VOpen∗​(xt​,XR)=umin​{l(xtR​−xt​,u)+VOpen∗​(xt+1​,XR)}. 下面我们来考察一下策略的结构。实际上，有下面两种常见的策略结构：
$$\begin{gathered} u_t=\pi (x_t,x_t^R), \\ {u}_t=\phi (x_t,x_t^R,x_{t+1}^R,x_{t+2}^R,\cdots ,x_{\infty }^R). \end{gathered}$$ 第一种策略的输入只有当前状态和参考轨迹上的当前参考点，而第二种策略的输入还包含了参考轨迹上的未来的所有参考点。那么，通过ADP的框架来最小化cost function，我们可以得到两种策略下的最优值函数$V_{\pi }^{\ast }(x)$和$V_{\phi }^{\ast }(x)$。实际上，第一种策略结构使用的最多。但是，这能否就能代表这第一种策略结构就是最优的呢？实际上并不是。因为$\pi (\cdot )$的结构十分受限，只有当前时间步的参考信息，不能很好的处理后续参考轨迹点。而$\phi (\cdot )$才是理论上更好的选择，但是其受限于输入的高维度和训练的复杂度，因此难以广泛应用。

8.4.3 在Virtual-time Domain中重新定义的Tracking ADP

为了更好的理解之前我们说过的两种策略结构，我们需要把tracking这个在real-time中的OCP转换为一个在virtual-time中类似MPC的问题。注意，下面我们要从infinite-horizon的MPC角度来切入，虽然infinite-horizon的MPC在实际中不是很常用，但是他却与我们的ADP问题有着很大的联系。我们下面要把ADP写成一种infinite-horizon的MPC形式。根据我们下面的virtual-time的下标的不同，我们可以把重新构建的这个infinite-horizon的MPC问题分为两种情况：full-horizon追踪器和first-point追踪器。

在时间t（真实时间）时，full-horizon追踪器的目标函数可以写成：
$$J_{\mathrm{MPC}}^{\phi }=\sum _{i=0}^{\infty }l(x_{i|t}^R-x_{i|t},u_{i|t}),$$ 这里因为我们引入了virtual-time的概念，为了避免混淆，需要对于下面要用到的符号系统解释一下。我们用$(i|t)$中的t表示实际的时间（real-time），而i表示虚拟的时间（virtual-time）。而上述求和式中涉及到的${\chi }_{0|t}^R,{\chi }_{1|t}^R,\cdots ,{\chi }_{\infty |t}^R$是在当前真实时间t固定的条件下在virtual-time domain中的predicting horizon。这样子把真实时间和虚拟时间区分开来的做法为我们构建ADP追踪器提供了很大的灵活度。下面的问题就是$x_{i|t}^R$到底等于什么。其实这里的定义方法不止一种，下面就将一种最常用的定义方法：
$$x_{i|t}^R=x_{t+i}^R,i\in \mathbb{N}.$$ 这种定义方法实际上就是把从真实时间t开始的虚拟时间i等价为从t开始的真实时间。那么在最小化$J_{\mathrm{MPC}}^{\phi }$之后我们就可以得到一个full-horizon追踪器的最优策略：
$$u(t)=\phi (x_{0|t},x_{0|t}^R,x_{1|t}^R,\cdots ,x_{\infty |t}^R),$$ 当环境模型准确时，上述最优策略的开环控制最优性就等于原问题的闭环最优性。

下面我们来看看first-point追踪器。在时间t（真实时间）时，first-point追踪器的目标函数可以写成：
$$J_{\mathrm{MPC}}^{\pi }=\sum _{i=0}^{\infty }l(x_{0|t}^R-x_{i|t},u_{i|t})$$ 注意这里的$J_{\mathrm{MPC}}^{\pi }$和$J_{\mathrm{MPC}}^{\phi }$的区别在于，这里与$x_{i|t}$做差的不再是$x_{i|t}^R$而是一个固定值$x_{0|t}^R$。在我们上面$x_{i|t}^R=x_{t+i}^R,i\in \mathbb{N}$的设定下，这实际上就相当于拿t时刻的真实的轨迹上的值$x_t^R$与$x_{i|t}$做差。这样其实就蕴含了一个重要的假设，即：
$$x_{i|t}^R=x_{0|t}^R=x_t^R,i\in \mathbb{N}.$$ 其实这里的$x_{0|t}^R$的选择也不是唯一的，比如还可以令其等于$x_t^R$的一个函数，只要令$x_{0|t}^R$由$x_t^R$唯一决定即可。通过最小化first-point追踪器的目标函数，我们可以得到一个first-point追踪器的最优策略：
$$u(t)=\pi (x_{0|t},x_{0|t}^R).$$

容易想到，$\pi$策略的最优性比$\phi$策略的最优性要差，因此也达不到开环控制下的最优值，即：
$$V_{\pi }^{\ast }(x)\ge V_{\phi }^{\ast }(x)=V_{\mathrm{Open}}^{\ast }(x),\forall x\in X$$ 这种最优性的丧失可以被理解为$\pi$策略的结构受限（只有当前时间步的参考信息）。二者的比较可以由下图形象的表示：

或者我们再举一个更形象的例子。下面是一个自动驾驶汽车在拐弯处跟踪参考轨迹的例子。下图展示了某个真实时刻t时，汽车在virtual-time domain中的跟踪情况。其中蓝色的线代表参考轨迹，红色的线代表汽车的轨迹（在virtual-time domain中的轨迹）。

可以看出，左图（first-point追踪器）与右图（full-horizon追踪器）相比，跟踪效果有一定的损失。不过这在实际应用中是可以接受的，因为full-horizon追踪器的计算量太大。因此在实际应用中，我们通常会选择first-point追踪器，也可以使用下面的折中的改进办法。即我们不使用$\infty$-horizon，而改成有限的horizon，并在其中令$x_{i|t}^R=x_{t+i}^R$。

8.4.4 以OCP的一个经典例子LQC为例来进行定量分析

Linear Quadratic Control（LQC）是一个经典的OCP问题。其实，LQC问题主要洋浦两类：LQ追踪器和LQ调节器（LQR）。它们的求解都是通过求解Riccati方程来得到最优的控制策略。对于LQ调节器来说，状态总是被要求保持在平衡态附近（通常是0）；而对于LQ追踪器来说，状态则是被要求跟踪一个参考轨迹。实际上，在应用LQC时，上述两种不同的任务经常被搞混。大部分使用者也不会去区分最优的regulator和tracker之间的区别。一个常见的错误做法是把追踪误差当作一个新的“状态”来使用LQR来解决追踪问题。令人惊奇的是，这样一个“Fake Tracker”在实际应用竟然也能取得不错的效果。但是，就它优化的目标函数来看，得到的策略显然不是最优的。这也是工程中常见的理论上错误但是实际上却能取得不错效果的例子。但是，既然我们这节就是讲这个的，我们就来好好看一下LQ追踪器和LQ调节器到底有什么区别。

先来看看LQ追踪问题的cost function：
$$\begin{gathered} V(x_t,X^R)=\sum _{i=t}^T((x_i^R-x_i{)}^{\mathrm{T}}Q(x_i^R-x_i)+u_i^{\mathrm{T}}R{u}_i), \\ \text{s.t.} \\ {\chi }_{t+1}=A{x}_t+B{u}_t \end{gathered}$$ 注意，这里有我们刚才在第8.4.2节中定义的目标函数的形式相比，区别在于这列我们既然已经明确了是线性结构，那么我们把$l(x_t^R-x_t,u_t)$具体化为了上述形式。并且我们把horizon从无穷改为了(T-t)。这里我们假设矩阵组合(A,B)是可控的，且系数矩阵$Q\ge 0,R>0$。那么，我们可以得到LQ Tracking问题的的Bellman方程：
$$V^{\ast }(x_t,X^R)=\underset{u}{\min }\{(x_t^R-x_t{)}^{\mathrm{T}}Q(x_t^R-x_t)+u_t^{\mathrm{T}}R{u}_t+V^{\ast }(x_{t+1},X^R)\}$$ 由LQC的相关知识可知，最优值函数$V^{\ast }(x_t,X^R)$是一个二次型函数，可以写成如下形式：
$$V^{\ast }(x_t,X^R)=x_t^{\mathrm{T}}{P}_t{x}_t+2x_t^{\mathrm{T}}{\beta }_t+{\alpha }_t$$ 这里的最优值函数里面包含三个系数：$P_t,{\beta }_t,{\alpha }_t$。这三个系数里面嵌入了包含时间信息的参考轨迹信息。最优的策略也可用上述三个系数中的两个$P_t,{\beta }_t$来表示：
$$u_t^{\ast }=-R^{-1}{B}^{\mathrm{T}}(P_{t+1}{x}_{t+1}+{\beta }_{t+1})$$ 回顾之前在某篇博客的某处讲过的LQR的最优策略的形式，我们会发现区别就是多了一个前馈项${\beta }_{t+1}$，它里面就包含了参考轨迹的信息。这也是LQ追踪器和LQ调节器的一个重要区别。站在更高的角度来看，LQR可以被视为LQ Tracking的一个特例，即参考轨迹是一个常数（通常为0）。下面我们需要关心的就是怎么在每一时刻求解该时刻对应的三个系数。可以通过被称为Differential Riccati Equation的方程来求解这三个系数：
$$\begin{gathered} P_t=Q+A^{\mathrm{T}}{P}_{t+1}A-A^{\mathrm{T}}{P}_{t+1}B(R+B^{\mathrm{T}}{P}_{t+1}B{)}^{-1}{B}^{\mathrm{T}}{P}_{t+1}A, \\ {\beta }_t=(A^{\mathrm{T}}-A^{\mathrm{T}}{P}_{t+1}B(R+B^{\mathrm{T}}{P}_{t+1}B{)}^{-1}{B}^{\mathrm{T}}){\beta }_{t+1}-Q{x}_t^R, \\ {\alpha }_t={\alpha }_{t+1}+{x_t^R}^{\mathrm{T}}Q{x}_t^R-{\beta }_{t+1}^{\mathrm{T}}B(R+B^{\mathrm{T}}{P}_{t+1}B{)}^{-1}{B}^{\mathrm{T}}{\beta }_{t+1} \end{gathered}$$ 可以看出，$P_{t+1}$的求解根据第一式可以完全的由$P_t$确定，这与LQR的求解方式是一样的。但是，求解${\beta }_{t+1}$时，就不仅需要${\beta }_t$的值，还需要$P_{t+1}$和参考轨迹$x_t^R$的信息。而求解${\alpha }_{t+1}$时，需要的就更多了，同时需要${\alpha }_t$、$x_t^R$、$P_{t+1}$和${\beta }_{t+1}$的信息才行。怎么求解上述方程对于定量分析不同的策略结构对于LQ Tracking问题的影响是很重要的。下面我们就来看看。

8.4.4.1 递归的求解Finite-horizon LQ Tracking问题

让我们考虑具有终止条件的finite-horizon LQ Tracking问题。我们把终止时间记为T，我们假设在T时刻，最优值函数$V^{\ast }(x_T,X^R)=0$。而最优值函数根据我们上面的讨论具有二次型的形式$V^{\ast }(x_t,X^R)=x_t^{\mathrm{T}}{P}_t{x}_t+2x_t^{\mathrm{T}}{\beta }_t+{\alpha }_t$。那么再考虑到终止状态的任意性，为了使得最优值函数恒为0，易知三个系数都应该为0，即：
$$P_T=0,{\beta }_T=0,{\alpha }_T=0$$ 那么，我们就可以根据diffential Riccati方程递归的从后向前求解出每一个时刻的三个系数。

另外，注意到最优策略$u_t^{\ast }$中包含系数${\beta }_{t+1}$，这暗示了最优策略其实是受到时间t之后的参考轨迹信息的影响的。因此，我们的策略结构$u_t=\pi (x_t,x_t^R)$不是最优的，因为它只包含了当前时刻的参考轨迹信息，而忽视了之后的轨迹信息。真正的最优策略应该是$$u_t=\phi (x_t,x_t^R,x_{t+1}^R,\cdots ,x_T^R)$$

8.4.4.2 Infinite-horizon LQ Tracking问题的稳定状态解

Infinite-horizon LQ追踪器与它对应的finite版本非常不同。对于infinte-horizon LQ tracking问题，我们可以将differential Riccati方程视为一个离散的动态系统，将他的三个系数视为三个状态$(P_t,{\beta }_t,{\alpha }_t)$。为了保证稳定状态的解的存在，我们需要保证这个离散的动态系统是稳定的。那么既然这个系统是稳定的，自然就意味着上述三个状态变量可以收敛到它们的稳态，挡在时刻t达到稳态之后，我们有：
$$\begin{gathered} P=P_t=P_{t+1}=\cdots =P_{\infty }, \\ \beta ={\beta }_t={\beta }_{t+1}=\cdots ={\beta }_{\infty }, \\ \alpha ={\alpha }_t={\alpha }_{t+1}=\cdots ={\alpha }_{\infty }, \end{gathered}$$ 这里我们使用$P,\beta ,\alpha$来表示稳态的解。那么我们把稳态的这三个值代入到differtial Riccati方程中，并记$D\stackrel{\mathrm{def}}{=}{A}^{\mathrm{T}}-A^{\mathrm{T}}PB(R+B^{\mathrm{T}}PB{)}^{-1}{B}^{\mathrm{T}}-I$，则我们可以得到：
$${\beta }^{\mathrm{T}}B(R+B^{\mathrm{T}}PB{)}^{-1}{B}^{\mathrm{T}}\beta ={\beta }^{\mathrm{T}}{D}^{\mathrm{T}}{Q}^{-1}D\beta ,$$ 那么上述等式在下面两个条件下成立：
$$\{\begin{array}{l}\beta =0\\ or\\ B(R+B^{\mathrm{T}}PB{)}^{-1}{B}^{\mathrm{T}}=D^{\mathrm{T}}{Q}^{-1}D\end{array}$$ 而后一个条件的等号成立可以进一步的等价于下面的式子：
$$Q=P$$ 那么我们再把$Q=P$代入到differtial Riccati方程中，我们可以得到下述等式：
$$B(R+B^{\mathrm{T}}QB{)}^{-1}{B}^{\mathrm{T}}=Q^{-1}.$$ 那么是否对于我们这里的infinite-horizon LQ Tracking问题来说，两种情况（$\beta =0$和$B(R+B^{\mathrm{T}}QB{)}^{-1}{B}^{\mathrm{T}}=Q^{-1}$）是否都是合理的呢？其实根据秩的相关推导，可以证明后一种情况存在矛盾（详见原书第8.4.4.2节），因此只有$\beta =0$是合理的。这个时候我们把稳态时$\beta =0$代入到differtial Riccati方程的第二式，我们可以得到在稳态时下述很强的结论：
$$x_t^R=x_{t+1}^R=\cdots =x_{\infty }^R=0.$$ 那么对于infinite-horizon LQ Tracking问题来说，最优解存在的当且仅当参考轨迹恒等于0。这里的0-稳态也被称为self-harmonized reference。那么我们同样可以得知，如果我们的参考轨迹不是恒等于0的，那么具有infinite-horizon的LQ Tracker实际上不存在最优解。原因也很好理解，因为如果参考轨迹不是恒等于0的话，稳态的状态的误差就是一个非零值，这样得到的值函数就不是有界的。因此，实际上我么不可能设计出一个infinite-horizon的LQ Tracker，除非我们让它跟踪一个恒等于0的参考轨迹，但是这样的轨迹在实际中基本上是没有什么意义的，而且此时LQ Tracker就退化为了LQR了。

这样其实也解释了为什么在实际应用中，一些finite-horizon的LQ Tracker比它们对应的infinite版本更好。人们普遍认为，finite-horizon的LQ Tracker总是比infinite-horizon的LQ Tracker更差。这种想法是因为前者是一个local optimizer而后者是一个global optimizer。但是，正如我们上面所分析的，由于self-harmonized reference的限制，infinite的版本不可能跟踪任意的参考轨迹（特别是对于快速变化的参考轨迹）。因此，正因为infinite-horizon的LQ Tracker在理论上的不完备，其自然也就不具备最优性。

8.4.5 考虑到Reference Dynamics的Sampling机制

根据我们上面的讨论，Infinite-horizon Tracker的一个关键问题是如果参考轨迹不是self-harmonized的话，那么最优策略就不存在。尽管我们上面得出这个结论靠的是针对LQ问题的分析，但是得出的结论不变，只不过对于更一般的问题其轨迹为self-harmonized的条件不一定是恒等于0了。不是self-harmonized的轨迹在工程实践中很常见，但是却很少被讨论。因此本小节就来讨论一下。首先，我们先通过一个例子来直观的认识一下什么是非self-harmonized的参考轨迹（这里的轨迹只是一个形象的说法，实际上是状态随着时间变化的一个函数）。考虑到汽车的纵向控制，这里的状态向量由两个分量构成，分别是车的纵向位置和纵向速度。那么，一个非self-harmonized的参考轨迹可以这样设置：从某个时刻t开始，车的位置恒定不变，但是车的速度为一个非零值。这样的轨迹显然在物理上是不成立的，表现在utility function上就是utility function一直为非零值（即实际的轨迹始终无法跟上参考轨迹，因为参考轨迹在物理上就不可行），这样对于utility function求和的值函数就会发散到无穷大。

那么，如果轨迹本身就不是self-harmonized的，而我们又想跟踪这个轨迹并得到实用的结果，应该怎么做呢？答案就是去训练一个使用有限horizon的参考轨迹点作为输入的准最优策略。这里的核心思想是建立一个splitting cost function来代替原来的infinite-horizon的版本。为了理解这个splitting cost function工作的原理，我们需要在virtual-time domain中来定义和分析。在virtual-time domain中，我们把实际时间t对应的虚拟时间轴分成两段，分别是$[0|t,(N-1)|t]$和$[N|t,\infty |t]$。第一段的virtual-time reference使用实际的参考轨迹来保证期望的追踪能力，同时也作为准最优策略的输入的一部分。即：
$$x_{i|t}^R=x_{t+i}^R,i\in \mathbb{N}.$$ 怎么选择定义第二段的方式才是重新通过splitting cost function来重新得到self-harmonized的参考轨迹的关键。这里有两种可能的选择：

• 选择第一段结尾的那个点作为第二段的值：这样相当于任选一个常数作为第二段的参考轨迹的做法显然不合理，因为此时稳态误差仍然存在，因此刚才说的值函数无界的问题仍然存在。
• 选择最终的稳态值作为第二段的值：这样的选择是合理的，因为这样的选择可以保证最终的稳态误差为0。
  

到这里为止，我们已经构建了一个splitting cost function。但是现在阻碍我们构建一个理论完备的ADP算法的鸿沟是什么？在于我们的cost function定义在virtual-time domain中，但是我们收集数据是在real-time domain中。因此我么必须先详细的分析reference dynamics和sampling机制之间的关系。

实际上，任何对于reference的修改都可以被视为项原始的环境中引入了一个特殊的reference dynamics。而新的reference dynamics可以被视为一个新的reference预测模型：
$$x_{i+N|t}^R=g(x_{i|t}^R,x_{i+1|t}^R,\cdots ,x_{i+N-1|t}^R)$$ 这里$g(\cdot )$可以根据过去的N步的参考信号来预测下一步的参考信号。这也解释了我们把虚拟时间分成两段的合理性，因为这个滑动窗口的大小为N，因此一开始必须有N个已知值才能向后滑动。怎么定义这个函数也是一个学问，需要根据实际需要来确定。如果按照我们之前说过的把最终的稳态值作为第二段的参考轨迹的话，那么这个函数就可以简单的定义为：
$$g_{t+N}\stackrel{\mathrm{def}}{=}g(x_{i|t}^R,x_{i+1:i+N-1|t}^R)=x_{\mathrm{equ}}$$

为了配合上述重构的追踪问题，我们需要给出追踪版本的Bellman方程：
V ∗ ( x 0 ∣ t , x 0 : N − 1 ∣ t R ) = min ⁡ u 0 : ∞ ∣ t { l ( x 0 ∣ t R − x 0 ∣ t , u 0 ∣ t ) + ∑ i = 1 ∞ l ( x i ∣ t R − x i ∣ t , u i ∣ t ) } = min ⁡ u 0 ∣ t { l ( x 0 ∣ t R − x 0 ∣ t , u 0 ∣ t ) + min ⁡ u 1 : ∞ ∣ t { ∑ i = 1 ∞ l ( x i ∣ t R − x i ∣ t , u i ∣ t ) } } = min ⁡ u 0 ∣ t { l ( x 0 ∣ t R − x 0 ∣ t , u 0 ∣ t ) + V ∗ ( x 1 ∣ t , x 1 : N ∣ t R ) } \begin{aligned} &V^*\big(x_{0|t},x_{0:N-1|t}^R\big) \\ &=\min_{u_{0:\infty|t}}\left\{l\big(x_{0|t}^R-x_{0|t},u_{0|t}\big)+\sum_{i=1}^\infty l\big(x_{i|t}^R-x_{i|t},u_{i|t}\big)\right\} \\ &=\min_{u_{0|t}}\left\{l\big(x_{0|t}^R-x_{0|t},u_{0|t}\big)+\min_{u_{1:\infty|t}}\big\{\sum_{i=1}^\infty l\big(x_{i|t}^R-x_{i|t},u_{i|t}\big)\big\}\right\} \\ &=\min_{u_{0|t}}\{l\big(x_{0|t}^{R}-x_{0|t},u_{0|t}\big)+V^{*}\big(x_{1|t},x_{1:N|t}^{R}\big)\big\} \end{aligned} ​V∗(x0∣t​,x0:N−1∣tR​)=u0:∞∣t​min​{l(x0∣tR​−x0∣t​,u0∣t​)+i=1∑∞​l(xi∣tR​−xi∣t​,ui∣t​)}=u0∣t​min​{l(x0∣tR​−x0∣t​,u0∣t​)+u1:∞∣t​min​{i=1∑∞​l(xi∣tR​−xi∣t​,ui∣t​)}}=u0∣t​min​{l(x0∣tR​−x0∣t​,u0∣t​)+V∗(x1∣t​,x1:N∣tR​)}​ 最小化这个Bellman方程的过程就能得到一个准最优的策略：
$$u_t^{\ast }=\pi \underset{\text{virtual time}}{\underbrace{\left(x_{0|t},x_{0:N-1|t}^R\right)}}=\pi \underset{\text{real time}}{\underbrace{(x_t,x_{t:t+N-1}^R)}}.$$ 上式中从virtual time到real time之间的转换是因为我们的splitting的virtual时间轴的第一段采用的是和real-time同步的形式。可以看出，上述策略共有N+1个输入：当前的实际状态以及在virtual-time domain中的N个参考轨迹点。

需要考虑的另一个问题是，在引入了reference dynamics之后，我们的环境不在保持Markov性质。为了保持Markov性质，我们需要构建如下的augmented state：
$${\bar{x}}_{i|t}={\left[x_{i|t},\underset{\text{Reference}}{\underbrace{x_{i|t}^R,x_{i+1|t}^R,\cdots ,x_{i+N-1|t}^R}}\right]}^{\mathrm{T}},i\in \mathbb{N}$$ 那么augmented的环境模型可以写成：
$${\bar{x}}_{i+1|t}=\left[\begin{array}{c}{x}_{i+1|t}\\ x_{i+1|t}^R\\ ...\\ x_{i+N-1|t}^R\\ x_{i+N|t}^R\end{array}\right]=\left[\begin{array}{c}f(x_{i|t},u_{i|t})\\ x_{i+1|t}^R\\ ...\\ x_{i+N-1|t}^R\\ g(x_{i|t}^R,x_{i+1|t}^R,...,x_{i+N-1|t}^R)\end{array}\right]=f_{\text{aug}}({\bar{x}}_{i|t},u_{i|t})$$ 其中，对于${\bar{x}}_{i+1|t}$的最后一个元素是由我们刚才定义的reference dynamics模型$g(\cdot )$给出的，reference dynamics信息也就这样被嵌入了原始的环境模型中去。那么我们就可以这样收集samples：先收集N步的真实reference信号，再使用reference dynamics模型来预测最后一个参考信号。这样不断使用新的环境模型$f_{\text{aug}}$（已嵌入了reference dynamics信息）rollout就可以获得我们需要的samples，每个sample包含了两个实际的状态和N个实际的参考信号以及1个预测的参考信号，如下图所示：

那么，如果我们坚持使用real-time reference来采集samples会怎么样呢？这个时候，我们来分成有一个or多个reference轨迹来讨论（当然这时只有当这些轨迹都self-harmonized的时候才有意义）。当只有一个self-harmonized的参考轨迹时，最终的得到的是一个time-dependent的策略，其输出只由当前状态和当前实践决定。而当有多个self-harmonized的参考轨迹时，我们学得的策略里面隐含了某种在参考轨迹之间转移的分布，这样学得的策略就具有更好的探索和泛化能力。

到此为止，我们就已经介绍完了使用考虑到reference dynamics的sampling机制来解决infinite-horizon追踪器来追踪非self-harmonized参考轨迹的方法。可以看出，splitting cost function和reference dynamics的引入使得我们有能力跟踪一个非self-harmonized的参考轨迹，而不至于陷入值函数（cost function）无界的困境。

8.5 设计Finite-horizon ADP的方法

之前我们讨论的ADP都是基于infinite-horizon的，我们需要很仔细地保证值函数是有界的。而对于finite-horizon的最优控制问题，我们就可以轻松一点了。因为这里我们很容易把值函数做到有界，而它的policy gradient的推导也是一种基于cascading的方式。

但是，现在大多数实用的finite-horizon的最优控制问题都是基于MPC来做的。MPC确实具有很多优点，例如可以处理非线性系统而不用可以对于系统进行线性化、显式的考虑了系统的物理上或者操作上的限制以及对于多种控制问题（比如set-point调调节、追踪等）都适用。但是，它的online优化的特性也使得它的计算负担很重，因此只能处理那些动态很缓慢、采样周期很长、纬度低的系统。因此我们下面有必要来讨论一下如何设计一个finite-horizon的ADP算法来为finite-horizon的最优控制问题提供一个替代的方法。

8.5.1 Finite-horizon ADP的基础

我们首先要明确我们究竟要讨论的是什么问题。在infinite-horizon的情况下，我们既讨论了离散时间的版本也讨论了连续时间的版本。但是在finite-horizon的版本的讨论中，情况就完全不同了。不同于连续时间版本中的HJB方程，finite-horizon的问题中的值函数具有time-dependent的结构，因此此时的HJB方程常常在计算上是不可行的（尤其在系统具有很强的非线性和高维度的情况下）。因此，我们下面都只讨论定义在离散时间上的finite-horizon的ADP算法。这类算法也具有一些额外的特点，比如说值函数是time-dependent的，对于reward采不采取折扣因子没有那么敏感以及内在的multistage的策略结构。

首先，为了下面构建算法的需要，我们仍然需压迫保持在infinite那里做的两个假设，即化境具有Markov性质以及cost function的可分离性。这里易知我们的finite-horizon的最优控制问题自然满足这两个假设。那么我们可以把finite-horizon的最优控制问题写成如下形式：
$$\begin{gathered} \underset{u_t,...,u_{t+N-1}}{\min }V(x,X^R)=\sum _{i=0}^{N-1}l(x_{t+i},x_{t+i}^R,u_{t+i}) \\ \text{s.t.} \\ {x}_{t+1}=f(x_t,u_t) \end{gathered}$$ 注意，这里的utility function不一定是正定的了，因为这里的值函数的有界性很好保证。这里可能有读者会疑惑，为什么这里的utility function中包含了参考信息$x_{t+i}^R$，这里又没有说一定是tracking问题。实际上，这只是一种统一建模的方法，在下面会讲。

实际上，我们可以将finite-horizon的OCP分为以下两类：

• Regulator：这里的参考轨迹恒为一个常数，即稳态值$x_{e}qu$。对于大多数问题来说，这个稳态值就是0。
• Tracker：这里的参考轨迹是一个随时间变化的函数。我们可以进一步将tracker分为下面两类：
  • First-point tracker：这里当每步在virtual-time域中求解时只用到第一个此时轨迹上的参考点（即位于时间t的参考点）。
  • Full-horizon tracker：这里在每一步求解时用到了整个horizon上的参考点。
    

对于finite-horizon的问题，标准的Bellman方程不在存在，我们需要引入multistage的Bellman方程。stage的数量取决于horizon的长度。在Exact DP中，这个multistage的Bellman方程是使用stage-by-stage的backward的方式计算的。而在ADP中，我们需要给出新的算法来求解这个multistage的Bellman方程。

我们再来考察一下对于一个finite-horizon的ADP算法很重要的一点：怎么使用函数对策略进行近似。因为每步的最有动作不仅取决于现在的状态，还取决于参考序列（含时间信息），因此我们的策略也应该是采取time-dependent的形式（在我们上面统一纳入了参考信息的OCP建模下）。下面来看看对于tracker和regulator的情况下，策略的形式：

• 对于最优regulator来说的策略结构：
  $$u_{t+i}=\pi (x_t,N-i;\theta ),i=0,1,\dots ,N-1$$ 注意，与infinite-horizon的情况不同，这里的策略必须包含时间信息。
• 对于最优tracker来说的策略结构：
  $$u_{t+i}=\pi (x_t,x_{t+i:t+N-1};{\theta }_i),i=0,1,\dots ,N-1$$ 注意，这里对于一个horizon长度为N的问题，我们需要N套不同的参数${\theta }_0\in {\mathbb{R}}^{l_0},{\theta }_1\in {\mathbb{R}}^{l_1},...,{\theta }_{N-1}\in {\mathbb{R}}^{l_{N-1}}$。这是因为参考轨迹是不断变化的，没法使用一套固定的参数来跟踪（上面的regulator的情况是因为参考轨迹是恒定的，因此只需要一套参数）。

最后，求解finite-horizon的ADP问题有两种主流的算法：value-based ADP和policy-based ADP。前者先计算出最优的值函数再通过最优值函数来计算最优策略，而后者直接通过梯度下降来求解最优策略。

8.5.2 最优Regulator的Finite-horizon ADP算法

首先，我们为了下面能够得出multi-stage的Bellman方程，需要对上面提到过的值函数形式做一点变形：
$$V^{\ast }(x,t)=\underset{u_t,u_{t+1},...,u_T}{\min }\sum _{i=t}^{T}l(x_i,u_i).$$ 可以看到，与之前在8.5.1节的Problem Formulation那里定义的值函数的形式略有不同。那里的值函数形式及是固定horizon长度（horizon长为N），而这里的值函数是固定终止时间为T，初始时间t可变。为什么在之前已经定义了一种值函数的形式的情况下要再顶i一种值函数形式呢？是多此一举吗？当然不是！这两种形式必然是在我们后面的推导中各有用处。本处引入的这种终止时间固定为T的值函数的好处在于可以推导出下面的multi-stage的Bellman方程，而之前的那种固定horizon长度的值函数因为其horizon长度固定且输入参数不显含时间t（其形式为$V(x,X^R)$），因此无法得出multi-stage的Bellman方程。那么，我们就来看看这个multi-stage的Bellman方程是怎么样的：
V ( x , t ) = min ⁡ u { l ( x , u ) + V ( x ′ , t + 1 ) } , V ( x , t + 1 ) = min ⁡ u { l ( x , u ) + V ( x ′ , t + 2 ) } , V ( x , T − 1 ) = min ⁡ u { l ( x , u ) + V ( x ′ , T ) } , V ( x , T ) = min ⁡ u { l ( x , u ) } . \begin{gathered} V(x,t)=\min_{u}\{l(x,u)+V(x^{\prime},t+1)\}, \\ V(x,t+1)=\operatorname*{min}_{u}\{l(x,u)+V(x^{\prime},t+2)\}, \\ V(x,T-1)=\operatorname*{min}_{u}\{l(x,u)+V(x^{\prime},T)\}, \\ V(x,T)=\min_{u}\{l(x,u)\}. \end{gathered} V(x,t)=umin​{l(x,u)+V(x′,t+1)},V(x,t+1)=umin​{l(x,u)+V(x′,t+2)},V(x,T−1)=umin​{l(x,u)+V(x′,T)},V(x,T)=umin​{l(x,u)}.​ 这里的方程个数等于horizon的长度（由初始时间t和终止时间T决定）。

那么我们应该怎样由这个Bellman方程得到最优策略呢？一种直接的想法是我们为每个时间步都使用一个函数来拟合该时间步的值函数（即$V(x,t;w_t),V(x,t+1;w_{t+1}),V(x,t+2;w_{t+2}),...,\mathrm{and}V(x,T;w_T)$），然后使用值迭代的技术来求解这些值函数的最优值。在得到最优值之后就可以得到最优策略。但是这样进行参数化的方式会带来超高维的问题，并导致计算效率极其低下（我的理解是因为这里的初始时间t不确定，我们要想覆盖所有的t，那么我们的参数空间就会变得非常大）。因此，我们需要另辟蹊径。我们可以利用这里值函数对于utility function的求和是有限步来作为突破口。下面的方法中就不需要显式的对于值函数进行建模了，只需要递归的计算policy gradient就可以了。下面我们就来看看这个方法。

首先，我们可以这样更新策略参数$\theta$：
$$\theta \leftarrow \theta -\alpha \frac{\mathrm{d}V(x)}{\mathrm{d}\theta }$$ 与之前得到multi-stage的Bellman方程时必须使用固定终止时间T的值函数不同，这里我们必须用回固定horizon长度N的值函数。另外，考虑到这两种值函数实际上在t=0且T=N-1时是等价的，因此我们可以使用由固定终止时间T的值函数得到的multi-stage的Bellman方程来计算要求值函数是固定horizon长度N的值函数的梯度。另外为了递归计算的方便，我们需要改写8.5.1节中的optimal regulator的策略结构：
$$\begin{array}{c}{u}_{t+i}=\pi (x_t,N-i;\theta ),i=0,1,\dots ,N-1\\ \downarrow \\ u_{t+i}=\pi (x_{t+i},N-i;\theta ),i=0,1,...,N-1\end{array}$$ 这里最大的变化就是我们上面那个策略结构是根据当前状态$x_t$来决定未来预测horizon（长度为N）的各个最优动作值的，而我们修改后的策略结构是根据每个时刻的状态$x_{t+i}$来决定对应时间步的最优动作。那么，我们的policy就可以写成如下形式：
$$\frac{\mathrm{d}V(x)}{\mathrm{d}\theta }=\sum _{i=0}^{N-1}\frac{\mathrm{d}l(x_{t+i},u_{t+i})}{\mathrm{d}\theta }$$ 现在的问题归结为怎么计算每个$\frac{\mathrm{d}l(x_{t+i},u_{t+i})}{\mathrm{d}\theta }$。其实答案就是很简单，就是使用链式法则，只不过这里的依赖关系之间比较复杂，可以被建模为一个有向无环图，这样一张图的起点是$l(x_{t+i},u_{t+i})$，终点是$\theta$：

为了简单起见，我们引入下面的记号：
$$\begin{array}{rl}{l}_{t+i}& \stackrel{\mathrm{def}}{=}l(x_{t+i},u_{t+i}),\\ f_{t+i}& \stackrel{\mathrm{def}}{=}f(x_{t+i},u_{t+i}),\\ {\pi }_{t+i}& \stackrel{\mathrm{def}}{=}\pi (x_{t+i},N-i;\theta ).\end{array}$$ 引入上述记号后，我们有：
$$\frac{\mathrm{d}{l}_{t+i}}{\mathrm{d}\theta }=\frac{\mathrm{d}{x}_{t+i}^{\mathrm{T}}}{\mathrm{d}\theta }\frac{\partial l_{t+i}}{\partial x_{t+i}}+\frac{\mathrm{d}{u}_{t+i}^{\mathrm{T}}}{\mathrm{d}\theta }\frac{\partial l_{t+i}}{\partial u_{t+i}}$$ 这个式子就是上图里面从$d{l}_{t+i}/d\theta$指向下面的红色和紫色的线。接下来，继续引入记号来化简：
$${\varphi }_{t+i}\stackrel{\mathrm{def}}{=}\frac{\mathrm{d}{x}_{t+i}^{\mathrm{T}}}{\mathrm{d}\theta },{\psi }_{t+i}\stackrel{\mathrm{def}}{=}\frac{\mathrm{d}{u}_{t+i}^{\mathrm{T}}}{\mathrm{d}\theta }=\frac{\mathrm{d}{\pi }_{t+i}^{\mathrm{T}}}{\mathrm{d}\theta }$$ 然后通过观察上图，我们可以得到如下$\varphi$和$\psi$在相邻两个时间不得递归关系：
$$\begin{array}{rl}{\varphi }_{t+i}& ={\varphi }_{t+i-1}\frac{\partial f_{t+i-1}^{\mathrm{T}}}{\partial x_{t+i-1}}+{\psi }_{t+i-1}\frac{\partial f_{t+i-1}^{\mathrm{T}}}{\partial u_{t+i-1}},\\ {\psi }_{t+i}& ={\varphi }_{t+i}\frac{\partial {\pi }_{t+i}^{\mathrm{T}}}{\partial x_{t+i}}+\frac{\partial {\pi }_{t+i}^{\mathrm{T}}}{\partial \theta },\end{array}$$ 注意，这里的推导中利用了两个关系式：$x_{t+i}=f_{t+i-1}$（环境模型）和$u_{t+i}={\pi }_{t+i}$（因为策略是确定性的）。并且在${\psi }_{t+i}$的递归关系中，左边有一个${\varphi }_{t+i}$（即$d{\pi }_{t+i}^{\mathrm{T}}/d\theta$）而右边又有一个$\partial {\pi }_{t+i}^{\mathrm{T}}/\partial \theta$，可能有读者会疑惑，这两者难道不相等吗？确实不相等！结合高数知识，就可以知道二者根本不是一个东西。$d{\pi }_{t+i}^{\mathrm{T}}/d\theta$的含义是我这个${\pi }_{t+i}$就是一个关于$\theta$的函数，我这里的对于$\theta$求导数（这里不是偏导！！！）就是要遍历上述DAG中从${\pi }_{t+i}$开始到$\theta$的所有路径，求导求到底；而$\partial {\pi }_{t+i}^{\mathrm{T}}/\partial \theta$这里我们不用求导求到底，只需要求最浅层的那个导数就可以了（及上述DAG中从${\pi }_{t+i}$到$\theta$的黄色那条边）。那么我们就可以把policy gradient改写为下述形式：
$$\frac{\mathrm{d}V(x)}{\mathrm{d}\theta }=\sum _{i=0}^{N-1}\frac{\mathrm{d}l(x_{t+i},u_{t+i})}{\mathrm{d}\theta }=\sum _{i=0}^{N-1}\left({\varphi }_{t+i}\frac{\partial l_{t+i}}{\partial x_{t+i}}+{\psi }_{t+i}\frac{\partial l_{t+i}}{\partial u_{t+i}}\right)$$ 上式中的${\varphi }_{t+i}$和${\psi }_{t+i}$可以通过递归的方式计算得到。给定初始条件${\varphi }_{t+N-1}=0$（因为初始状态是已经给定的，与策略无关，自然也就与策略参数无关）和$\psi_{t+N-1}=\partial\pi^{\mathrm{T}}(x_{0},N;\theta)/\partial\theta $。推到到这里，我们就可以看出我们上面这样重构问题的好处了，这里我们不再需要计算值函数相关的项了，只需要计算一些偏导数即可。这也是在离散时间域上的finite-horizon的ADP算法的一个好处，我们不需要花费计算资源去计算一个time-dependent的值函数。反观在连续时间域上的finite-horizon的ADP算法，它的HJB方程因为含有time-dependent的值函数因此是一个非线性的PDE，这样的PDE的求解是非常困难的。

最后来看看整个算法的伪代码：

从上面的算法框架中也可以看出，因为这里我们不用显示的对于值函数进行建模，因此也不存在通常意义上的“Critic”，所以上述框架中只有对于actor的梯度更新。

8.5.3 使用Multi-stage策略的最优Tracker的Finite-horizon ADP算法

不同于刚才讲过的regulator的情况，tracker的情况下我们需要使用不同的参数来表示不同时间步的策略，即multi-stage的策略。那么到底需要几套策略参数呢？其实这个数就等于我们的horizon的长度N。我们将在8.5.1里面讲过的策略结构重新再拿出来：
$$\begin{gathered} u_t=\pi (x_t,x_{t:t+N-1}^R;{\theta }_0), \\ {u}_{t+1}=\pi (x_{t+1},x_{t+1:t+N-1}^R;{\theta }_1), \\ {u}_{t+N-1}=\pi (x_{t+T-1},x_{t+N-1}^R;{\theta }_{N-1}) \end{gathered}$$ 这里，${\theta }_0,{\theta }_1,...,{\theta }_{N-1}$就是我们的N套策略参数。值得注意的是，这些策略参数以及策略函数本身通常都具有不同的维度，这是因为对于预测问题来说，在时间t的时候，我们不仅需要使用当前的状态$x_t$作为输入，还需要使用未来的N个参考点$x_{t:t+N-1}^R$。因此，也易知，输入的维度随着时间步越向后越少（因为此时剩下的参考信号数量也越少）。这种multi-stage的策略可以使用下图形象的描述：

那么，仿造regulator的情况，我们可以得到N个policy gradient：
d V ( x , X R ) d θ j = ∑ i = 0 N − 1 d l ( x t + i , x t + i R , u t + i ) d θ j , j ∈ { 0 , 1 , ⋯   , N − 1 } \frac{\mathrm{d}V(x,X^R)}{\mathrm{d}\theta_j}=\sum_{i=0}^{N-1}\frac{\mathrm{d}l(x_{t+i},x_{t+i}^R,u_{t+i})}{\mathrm{d}\theta_j} ,j\in\{0,1,\cdots,N-1\} dθj​dV(x,XR)​=i=0∑N−1​dθj​dl(xt+i​,xt+iR​,ut+i​)​,j∈{0,1,⋯,N−1} 与8.5.2节一样，上述这N个梯度的计算也同样依赖于一个DAG：

于那里的DAG的区别在于，终点不再是一个单独的参数$\theta$，而是N个不同的参数${\theta }_0,{\theta }_1,...,{\theta }_{N-1}$。同样的我们引入下述记号来简化式子：
$$\begin{array}{c}{l}_{t+i}(x_{t+i}^R)\stackrel{\mathrm{def}}{\equiv }l(x_{t+i},x_{t+i}^R,u_{t+i}),\\ f_{t+i}\stackrel{\mathrm{def}}{\equiv }f(x_{t+i},u_{t+i}),\\ {\pi }_{t+i}({\theta }_i)\stackrel{\mathrm{def}}{=}\pi (x_{t+i},x_{t+i:t+N-1}^R;{\theta }_i).\end{array}$$ 引入了上述记号后，可以把每个梯度写成如下形式：
$$\frac{\mathrm{d}l(x_{t+i},x_{t+i}^R,u_{t+i})}{\mathrm{d}{\theta }_j}=\frac{\mathrm{d}{x}_{t+i}^{\mathrm{T}}}{\mathrm{d}{\theta }_j}\frac{\partial l_{t+i}(x_{t+i}^R)}{\partial x_{t+i}}+\frac{\mathrm{d}{u}_{t+i}^{\mathrm{T}}}{\mathrm{d}{\theta }_j}\frac{\partial l_{t+i}(x_{t+i}^R)}{\partial u_{t+i}}.$$ 再像8.5.2节一样，引入下述两个额外的记号（只不过这里的$\varphi$和$\psi$右上角都有一个$j$，来表示其是对于不同的策略参数来求导的）：
$${\varphi }_{t+i}^j=\frac{\mathrm{d}{x}_{t+i}^{\mathrm{T}}}{\mathrm{d}{\theta }_j}=\frac{\mathrm{d}{f}_{t+i-1}^{\mathrm{T}}}{\mathrm{d}{\theta }_j},{\psi }_{t+i}^j=\frac{\mathrm{d}{u}_{t+i}^{\mathrm{T}}}{\mathrm{d}{\theta }_j}=\frac{\mathrm{d}{\pi }_{t+i}^{\mathrm{T}}({\theta }_i)}{\mathrm{d}{\theta }_j}.$$ 然后我们可以得到如下的递归关系：
$$\begin{gathered} {\varphi }_{t+i}^j={\varphi }_{t+i-1}^j\frac{\partial f_{t+i-1}^{\mathrm{T}}}{\partial x_{t+i-1}}+{\psi }_{t+i-1}^j\frac{\partial f_{t+i-1}^{\mathrm{T}}}{\partial u_{t+i-1}}, \\ {\psi }_{t+i}^j={\varphi }_{t+i}^j\frac{\partial {\pi }_{t+i}^{\mathrm{T}}({\theta }_i)}{\partial x_{t+i}}+\frac{\partial {\pi }_{t+i}^{\mathrm{T}}({\theta }_i)}{\partial {\theta }_j}, \end{gathered}$$ 值得注意的是，这里DAG的终点不是一个而是多个带来了下面的两个性质：
$$\begin{gathered} \frac{\partial {\pi }^{\mathrm{T}}(x_{t+i},x_{t+i:t+N-1}^R;{\theta }_i)}{\partial {\theta }_j}=0,\mathrm{if}i\ne j, \\ {\varphi }_{t+i}^j=\frac{\mathrm{d}{x}_{t+i}^{\mathrm{T}}}{\mathrm{d}{\theta }_j}=0,\mathrm{if}i\le j. \end{gathered}$$ 第一个性质是因为从上述DAG可以看出每个${\pi }_{t+i}({\theta }_i)$只有唯一的一条黄色的边指向${\theta }_j$；而第二个性质是因为是由时间因果性决定的，先发生的状态显然与后续的策略参数无关。因此，最后的policy gradient归结为下面的N个形式相同的式子：
$$\frac{\mathrm{d}V(x,X^R)}{\mathrm{d}{\theta }_j}=\sum _{i=0}^{N-1}\left({\varphi }_{t+i}^j\frac{\partial l_{t+i}(x_{t+i}^R)}{\partial x_{t+i}}+{\psi }_{t+i}^j\frac{\partial l_{t+i}(x_{t+i}^R)}{\partial u_{t+i}}\right)$$ 上面的式子中的基本元素都可以通过递归的方式计算得到。最后们需要指出的是，因为各个stage之间紧密相连，因此更新参数时一次就要更新所有的参数，而不能只更新其中的几个：
$$\begin{gathered} {\theta }_0\leftarrow {\theta }_0-{\alpha }_0\frac{\mathrm{d}V(x,X^R)}{\mathrm{d}{\theta }_0}, \\ {\theta }_1\leftarrow {\theta }_1-{\alpha }_1\frac{\mathrm{d}V(x,X^R)}{\mathrm{d}{\theta }_1}, \\ {\theta }_{N-1}\leftarrow {\theta }_{N-1}-{\alpha }_{N-1}\frac{\mathrm{d}V(x,X^R)}{\mathrm{d}{\theta }_{N-1}}. \end{gathered}$$

最后，我们给出整个算法的伪代码：

8.5.4 使用循环/递归（Recurrent）策略的最优Tracker的Finite-horizon ADP算法

一个有意思的事实是我们可以将上面的multi-stage的策略简化为一个使用recurrent函数的策略。与multi-stage的策略不同，recurrent策略只需要一套参数（那么自然其输入维度也是恒定的，而不是像之前讲过的multi-stage的策略那样输入维度随时间步变化）。那么我们应该怎样建模这样一种具有recurrent特性的函数呢？其实，可以使用RNN（Recurrent Neural Network）来实现这样的函数。

下面来简单介绍一下RNN的基本知识。一个RNN的架构可以这样表示：

注意，上图中因为我们将其展平了，看起来似乎有很多个用于处理隐状态的模块（图中的矩形框），实际上那些模块都是同一个，只不过其上一个时间步的隐状态在下一个时间步输入到这个模块中。像下图所示：

RNN的训练需要使用BP的变种——BPTT（Back Propagation Through Time）。

那么，我们应该怎样用一套参数来对于multi-stage的策略进行建模呢？答案是对于我们的horizon中的不同时间步，采用不同的RNN循环次数，越靠前的时间步因为需要输入的参考信息好数目越多，因此循环次数也越多。如下图所示：

有了RNN作为策略函数，我们就可以将策略结构表述为如下形式：
$$u_{t+i}={\pi }^{N-i}(x_{t+i},x_{t+i:t+N-1}^R;\theta ),i=0,1,...,N-1.$$ 更具体地来说，在每个时间步i，针对于其中的每个循环c，都可以表述如下：
$$\begin{gathered} h_c={\sigma }_h(x_{t+i},x_{t+i+c-1}^R,h_{c-1};{\theta }_h), \\ {\pi }^c(x_{t+i},x_{t+i:t+N-1}^R;\theta )={\sigma }_u(h_c;{\theta }_u) \\ c=0,1,...,N-i, \end{gathered}$$ 上式中的${\sigma }_h$和${\sigma }_u$分别表示隐藏层和输出层的函数变换。而${\pi }^c$表示在时间步i中第c个循环的策略（这只是一个中间策略，不作为时间步i的最终策略）。

最后，我们来看看使用recurrent策略的policy gradient是怎么样的。与之前类似，我们有如下形式的policy gradient：
$$\begin{array}{rl}\frac{\mathrm{d}V(x,X^R)}{\mathrm{d}\theta }& =\sum _{i=0}^{N-1}\frac{\mathrm{d}{l}_{t+i}(x_{t+i}^R)}{\mathrm{d}\theta }\\ & =\sum _{i=0}^{N-1}\left(\frac{\mathrm{d}{x}_{t+i}^{\mathrm{T}}}{\mathrm{d}\theta }\frac{\partial l_{t+i}(x_{t+i}^R)}{\partial x_{t+i}}+\frac{\mathrm{d}{u}_{t+i}^{\mathrm{T}}}{\mathrm{d}\theta }\frac{\partial l_{t+i}(x_{t+i}^R)}{\partial u_{t+i}}\right)\end{array}$$ 上式中的$l_{t+i}(x_{t+i}^R)=l(x_{t+i},x_{t+i}^R,u_{t+i})$、$f_{t+i}=f(x_{t+i},u_{t+i})$、${\pi }^{N-i}(\theta )={\pi }^{N-i}(x_{t+i},x_{t+i:t+N-1}^R;\theta )$。仿照之前我们再引入一些记号：
$$\begin{gathered} {\varphi }_{t+i}=\frac{d{x}_{t+i}^{\mathrm{T}}}{d\theta }=\frac{d{f}^{\mathrm{T}}(x_{t+i-1},u_{t+i-1})}{d\theta }, \\ {\psi }_{t+i}=\frac{d{u}_{t+i}^{\mathrm{T}}}{d\theta }=\frac{d[{\pi }^{N-i}(x_{t+i},x_{t+i:t+N-1}^R;\theta ){]}^{\mathrm{T}}}{d\theta }. \end{gathered}$$ 那么，结合下图，就可以得到递归的计算各个$\varphi$和$\psi$的方法：

$$\begin{array}{c}{\varphi }_{t+i}={\varphi }_{t+i-1}\frac{\partial f_{t+i-1}^{\mathrm{T}}}{\partial x_{t+i-1}}+{\psi }_{t+i-1}\frac{\partial f_{t+i-1}^{\mathrm{T}}}{\partial u_{t+i-1}},\\ {\psi }_{t+i}={\varphi }_{t+i}\frac{\partial [{\pi }^{N-i}(\theta ){]}^{\mathrm{T}}}{\partial x_{t+i}}+\frac{\partial [{\pi }^{N-i}(\theta ){]}^{\mathrm{T}}}{\partial \theta },\\ \frac{\partial [{\pi }^{N-i}(\theta ){]}^{\mathrm{T}}}{\partial \theta }=\frac{\partial [{\pi }^1(\theta ){]}^{\mathrm{T}}}{\partial \theta }\prod _{k=N-i}^2\frac{\partial [{\pi }^k(\theta ){]}^{\mathrm{T}}}{\partial {\pi }^{k-1}(\theta )},\end{array}$$ 尤其注意，这里比起8.5.2和8.5.3节，多出了一个$\partial [{\pi }^{N-i}(\theta ){]}^{\mathrm{T}}/\partial \theta$的计算，这是因为我们的策略是recurrent的，所有策略都依赖于同一套参数$\theta$，而且我们前面的决策会影响后面的状态进而影响到后面的决策（详见上图最下方$\partial \pi /\partial \pi$的那些线）。最后，我们的policy gradient就可以写成如下形式：
$$\frac{\partial V(x,x^R)}{\partial \theta }=\sum _{i=0}^{N-1}\left({\varphi }_{t+i}\frac{\partial l_{t+i}(x_{t+i}^R)}{\partial x_{t+i}}+{\psi }_{t+i}\frac{\partial l_{t+i}(x_{t+i}^R)}{\partial u_{t+i}}\right)$$ 初始条件为${\varphi }_t=0$。

最后，使用RNN作为策略函数还有一个有意思的地方，即一个perfectly-trained的RNN策略，在推理时，它的RNN循环次数可以再任意步停止，却仍能保存一些最优性。例如，如果RNN循环了两次就停止，那么它的输出对于horizon长为2的问题来说是最优的。