（《机器学习》完整版系列）第16章 强化学习——16.3 有模型的迭代式的详细推导（并更正一些错误思路）

本篇详细推导出值函数的递归等式，称为贝尔曼方程（Bellman等式）。

有模型：
设马尔可夫决策过程（MDP）的四元组$E=⟨X,A,P,R⟩$模型已知。 即机器对四元组已知或通过模拟近似已知。

迭代式

为聚焦，我们将16.1 任务与奖赏图16.3 中的表达调整为图16.5 。

图16.5 一步中的两阶段

再在图16.5 中再添上“奖赏”相关的内容（已知），即为图16.6 。

图16.6 MDP中的每一步

图16.6 中，$R_{x\to x^{\prime }}^a$是指“单步”（$x\stackrel{a}{\to }{x}^{\prime }$）所获得的奖赏。 若这一步是在轨线的第$t$步，为强调这一特点，引入记号
$$\begin{array}{r}{r}_t=R_{x\to x^{\prime }}^a\end{array}\text{\hspace{1em}(16.5)}$$

下面重点说明$Q^{\pi }(x,a)$与$V^{\pi }(x)$：

• 它俩都是指在遵循策略$\pi (x)$下的“累积奖赏”，其区别正如图16.6 中所示，$V^{\pi }(x)$表示从$x$出发，完成任务所获得的“累积奖赏”；而$Q^{\pi }(x,a)$表示从$x$出发但途径$a$，完成任务所获得的“累积奖赏”。
• 将它们称为“值函数”，图中，$V^{\pi }(x)$位于状态$x$处，故称为“状态值函数”，$Q^{\pi }(x,a)$“状态-动作”$(x,a)$处，故称为“状态-动作值函数”。
• 它俩的计算，根据情况对应于第1节的式(16.2)、式(16.3)、式(16.4)之一。 分为“$T$型累积”和“$\gamma$型累积”，对其添加下标表示类型。
  注1：这里“$T$型累积”实际上是有限步的“步均值”，其实，去掉常数因子$\frac{1}{T}$变为真正的“累积均值”理论是一样的；“$\gamma$型累积”是无限步的“步折扣累积”。
  注2：“$T$型累积”即有限步完成任务，易举出例子，如，“将步进小车开到指定的位置”；“$\gamma$型累积”即无限步完成任务，不易举出例子，如，“赌徒利用 K-摇劈赌博机进行赌博”就是一例（设以赌局作为时间步，且钱有时间价值，即有折扣率$\gamma$），他可以无限玩下去（假定本金不成问题，为了赚更多，他需要摸清赌博机的各参数，如，分布的期望值），当然，他可能提前终止（这时，他没有完成任务，有限步只能得出参数的估计值）。
• 上标$\pi$表示决策过程中所采取的策略，即$\pi (x,a)$，通常是优化的目标。

完成任务的每一步的“足迹”形成序列（称为链或轨线）：$x_0,x_1,x_2,\cdots ,x_T,\cdots$，如图16.7 所示，研究递推的技巧是考虑在轨线的左端递减，而不是考虑右端递减，这是由于右端为完成任务的终点。

i.对于“$\gamma$型累积”，即
$$\begin{array}{rl}& \underset{x_0,x_1,\cdots }{\mathbb{E}}(\text{无限步完成任务})\\ & =\underset{x_0\to x_1}{\mathbb{E}}\underset{x_1,x_2,\cdots }{\mathbb{E}}(\text{第一步奖赏}+\text{无限步完成任务})\\ & =\underset{x_0\to x_1}{\mathbb{E}}\left(\text{第一步奖赏}+\underset{x_1,x_2,\cdots }{\mathbb{E}}(\text{无限步完成任务})\right)\end{array}\text{\hspace{1em}(16.6)}$$

ii.对于“$T$型累积”，即
$$\begin{array}{rl}& \underset{x_0,x_1,\cdots ,x_T}{\mathbb{E}}(\text{T步完成任务})\\ & =\underset{x_0\to x_1}{\mathbb{E}}\underset{x_1,x_2,\cdots ,x_T}{\mathbb{E}}(\text{第一步奖赏}+\text{T−1步完成任务})\\ & =\underset{x_0\to x_1}{\mathbb{E}}\left(\text{第一步奖赏}+\underset{x_1,x_2,\cdots ,x_T}{\mathbb{E}}(\text{T−1步完成任务})\right)\end{array}\text{\hspace{1em}(16.7)}$$
注：$T-1$步完成任务的起点为$x_1$，由马尔可夫链的性质知，状态$x_0$并不对$x_1$后的动作决策产生影响，即（1）过去对未来不产生影响（$x_0$只影响$x_1$，不影响其后）；（2）未来对当前不产生影响（不存在逆影响），体现在式子的可“分解”：$\underset{x_0,x_1,\cdots ,x_T}{\mathbb{E}}=\underset{x_0\to x_1}{\mathbb{E}}\underset{x_1,x_2,\cdots ,x_T}{\mathbb{E}}$。

图16.7 足迹序列

错误的递推式
$$\begin{array}{rl}& \underset{x_0,x_1,\cdots ,x_T}{\mathbb{E}}(\text{T步完成任务})\\ & =\underset{x_0,x_1,\cdots ,x_T}{\mathbb{E}}(\text{T−1步完成任务}+\text{最后一步奖赏})\\ & =\underset{x_0,x_1,\cdots ,x_{T-1}}{\mathbb{E}}(\text{T−1步完成任务})+\underset{x_{T-1}\to x_T}{\mathbb{E}}(\text{最后一步奖赏})\end{array}\text{\hspace{1em}(16.8)}$$
第一个等式中定义的是“$x_T=\text{完成态}$”，起点为$x_0$，第二个等式中又定义“$x_{T-1}=\text{完成态}$”，起点也为$x_0$，因此是错误的。这类常见错误是在递推过程中将“完成态”作为动点（既可为$x_T$，又可为$x_{T-1}$），而将“起点”作为“不动点”。

严格来讲，“$T$型”模型中统一规定了
$$\begin{array}{r}\{\begin{array}{l}\text{终点xT=完成态}\\ \text{最后一步xT−1→xT“强制”完成任务}\\ \text{直接定义了最后一步的rT}\end{array}\end{array}\text{\hspace{1em}(16.9)}$$
其中，“完成态”定义于系统外且唯一的不动点（地平线），由“强制”性知，最后一步$x_{T-1}\to x_T$中决策$\pi$和转移概率$P$均失效（故可将“完成态”放到系统外），因此只需单独定义这一步的值$r_T$，对所有$x$都考虑作为$x_{T-1}$情况，这时，$r_T$转化为只与$x$有关，记为$r(x)$，式(16.9)变为
$$\begin{array}{r}\{\begin{array}{l}x\to \text{完成态}\\ \text{定义了r(x)}\end{array}\end{array}\text{\hspace{1em}(16.10)}$$
即“$x\to \text{完成态}$”这一步不用决策，而是“强制”地到达，其“强制”成本的负值（或倒数）就作为奖赏$r(x)$，例如，以“步进小车开到指定的位置”作为任务，以其位置作为状态，当小车已在指定位置时，成本为0；当小车与指定的位置有一格的距离时，一步到达的成本为1；当小车与指定的位置有二格的距离时，一步到达的成本为2；$\cdots$。 也就是说，根据环境对所有状态定义一遍成本（或奖赏）。

现在考虑“$T$型”模型轨线（足迹序列）的“步均奖赏”，设第$t$步的奖赏$r_t$为$x_{t-1}\to x_t$的一步奖赏，在策略$\pi$下，起点为$x$链长为$T$步，“步均奖赏”为$V_T^{\pi }(x)$。

先看一步完成：“$x_{T-1}\to x_T$”，根据式(16.10)有
$$\begin{array}{r}{V}_1^{\pi }(x)=r(x)\end{array}\text{\hspace{1em}(16.11)}$$
这也可以作为状态-值函数改进序列$V_s^{\pi }(x)$的初始化。

再看起点为$x_0=x$长度为$T$的轨线的“步均奖赏”情况
$$\begin{array}{rl}{V}_T^{\pi }(x)& =\underset{\pi }{\mathbb{E}}\left(\frac{1}{T}[\sum _{t=1}^T{r}_t{]}_{x_0=x}\right)\\ & =\underset{x_0,x_1,\cdots ,x_T}{\mathbb{E}}\left(\frac{1}{T}[r_1(x_0)+\sum _{t=2}^T{r}_t{]}_{x_0=x}\right)\\ & =\underset{x_0\to x_1}{\mathbb{E}}\underset{x_1,x_2,\cdots ,x_T}{\mathbb{E}}{\left(\frac{1}{T}{r}_1(x_0)+\frac{1}{T}\sum _{t=2}^T{r}_t\right)}_{x_0=x}\\ & =\underset{x_0\to x_1}{\mathbb{E}}{\left(\frac{1}{T}\underset{x_1,\cdots ,x_T}{\mathbb{E}}{r}_1(x_0)+\frac{T-1}{T}\underset{x_1,x_2,\cdots ,x_T}{\mathbb{E}}\left(\frac{1}{T-1}[\sum _{t=2}^T{r}_t{]}_{x_1}\right)\right)}_{(x_0=x)}\\ & =\underset{x_0\to x_1}{\mathbb{E}}{\left(\frac{1}{T}{r}_1(x_0)+\frac{T-1}{T}{V}_{T-1}^{\pi }(x_1)\right)}_{(x_0=x)}\\ & =\underset{x_0\underset{a}{\to }{x}^{\prime }}{\mathbb{E}}{\left(\frac{1}{T}{r}_1(x_0)+\frac{T-1}{T}{V}_{T-1}^{\pi }(x^{\prime })\right)}_{(x_0=x)}\\ & =\sum _{a\in A}\pi (x,a)\sum _{x^{\prime }\in A}{P}_{x\to x^{\prime }}^a\left(\frac{1}{T}{R}_{x\to x^{\prime }}^a+\frac{T-1}{T}{V}_{T-1}^{\pi }(x^{\prime })\right)\end{array}\text{\hspace{1em}(16.12)(16.13)(16.14)}$$
其中，式(16.12)即为【西瓜书式(16.5)第一式】，式(16.14)即为【西瓜书式(16.7)】。

可以按该思路推导$V_{\gamma }^{\pi }(x)$的递推式【西瓜书式(16.8)】，为扩展思路，这里我们再以一种新方法对$V_{\gamma }^{\pi }(x)$的递推式进行推导。

对于固定的策略$\pi$，每个状态$x$都有对应的“状态值函数”的值$V^{\pi }(x)$，这些值是离散的，即有集合 { V π ( x ) } x ∈ X \{V^{\pi}(x)\}_{x\in X} {Vπ(x)}x∈X​，对应于“足迹”序列，也有“状态值函数”的值序列，即图16.6 对应有图16.8 。

图16.8 “状态值函数”的值序列

图16.8 中，由状态转移（$x\to x^{\prime }$）的两阶段概率可以得到$V^{\pi }(x)$转移至$V^{\pi }(x^{\prime })$的概率为$\pi (x,a)\times P_{x\to x^{\prime }}^a$。 因此，可视为“状态值函数”值 { V π ( x ) } x ∈ X \{V^{\pi}(x)\}_{x\in X} {Vπ(x)}x∈X​间的转移。 故此，可将图16.8 简化为图16.9 。

图16.9 “状态值函数”值间的转移

“状态值函数”$V^{\pi }(x)$定义为状态$x$处的“累积奖赏”，这里是形式化的思考，如果不打折的话，无限步的"和"为无穷大，没有意义；另外，式(16.7)是反向累积，即在$x$处完成工作的报酬为在$x^{\prime }$处完成工作的报酬加上多了第一步的工作（$x\to x^{\prime }$）的报酬。

即有
$$\begin{array}{rl}{V}^{\pi }(x)& =\underset{(x\to a)\times (a\to x^{\prime })}{\mathbb{E}}(R_{x\to x^{\prime }}^a+V^{\pi }(x^{\prime }))\\ & =\sum _{a,x^{\prime }}\pi (x,a)\times P_{x\to x^{\prime }}^a(R_{x\to x^{\prime }}^a+V^{\pi }(x^{\prime }))\\ & =\sum _{a\in A}\pi (x,a)\sum _{x^{\prime }\in A}{P}_{x\to x^{\prime }}^a(R_{x\to x^{\prime }}^a+V^{\pi }(x^{\prime }))\end{array}\text{\hspace{1em}(16.15)}$$

从$x$出发比从$x^{\prime }$出发多了一步（$x\to x^{\prime }$），若采用“$\gamma$折扣累积奖赏”，则由16.1 任务与奖赏图(16.4)将$V^{\pi }(x^{\prime })$折为现值$V^{\pi }(x^{\prime }){\gamma }^1$，故式(16.15)调整为式(16.16)
$$\begin{array}{rl}{V}_{\gamma }^{\pi }(x)& =\sum _{a\in A}\pi (x,a)\sum _{x^{\prime }\in A}{P}_{x\to x^{\prime }}^a(R_{x\to x^{\prime }}^a+\gamma V_{\gamma }^{\pi }(x^{\prime }))\end{array}\text{\hspace{1em}(16.16)}$$
这即为【西瓜书式(16.8)】，它是关于$x$的函数，该式中$x$为外部给定的（言下之意：$x$在式子外变化（自变量），而$x^{\prime }$在式中变化并被“和号”消去（局部变量））。

【西瓜书式(16.7)(16.8)】是值函数的递归等式，称为贝尔曼方程（Bellman等式）。
注：Bellman方程通常指离散时间最优化问题的动态规划方程，借助数学的不动点理论，可以严格地证明Bellman方程（簇）中存在唯一的最优方程，即【西瓜书 (16.13)】【西瓜书 (16.15)】，另外，对于连续时间最优化问题，有相应的HJB方程（Hamilton-Jacobi-Bellman Equation）。

由图16.6 有
$$\begin{array}{rl}{V}^{\pi }(x)& =\sum _{a\in A}\pi (x,a)Q^{\pi }(x,a)\end{array}\text{\hspace{1em}(16.17)}$$
式(16.17)中取$T$型和$\gamma$型，则有
$$\begin{array}{r}\{\begin{array}{ll}{V}_T^{\pi }(x)& ={\sum }_{a\in A}\pi (x,a)Q_T^{\pi }(x,a)\\ V_{\gamma }^{\pi }(x)& ={\sum }_{a\in A}\pi (x,a)Q_{\gamma }^{\pi }(x,a)\end{array}\end{array}\text{\hspace{1em}(16.18)}$$
比较式(16.18)与式(16.16)，得
$$\begin{array}{rl}{Q}_{\gamma }^{\pi }(x,a)& =\sum _{x^{\prime }\in A}{P}_{x\to x^{\prime }}^a(R_{x\to x^{\prime }}^a+\gamma V_{\gamma }^{\pi }(x^{\prime }))\end{array}\text{\hspace{1em}(16.19)}$$
这即【西瓜书式(16.10)的第二式】，同理可得【西瓜书式(16.10)的第一式】，即由状态值函数的迭代式得到了状态-动作值函数的迭代式【西瓜书式(16.10)】。

固定策略$\pi$下，对于每一个状态$x$只有一个$V_{\gamma }^{\pi }(x)$，因为，$1+\infty =\infty$，但却有许多$V_T^{\pi }(x)$：对每一个$T$都有一个$V_T^{\pi }(x)$。
$T$比$T-1$多一步，感觉$V_T^{\pi }(x)⩾V_{T-1}^{\pi }(x)$，但这是不对的（并不是按“多劳多得”，而是按“完成任务”，故它俩应得奖赏近似），因为：
$$\begin{array}{rl}{V}_T^{\pi }(x)-V_{T-1}^{\pi }(x)& =\underset{\pi }{\mathbb{E}}{\left(\frac{1}{T}\sum _{t=1}^T{r}_t-\frac{1}{T-1}\sum _{t=1}^{T-1}{r}_t\right)}_{x_0=x}\\ & =\underset{\pi }{\mathbb{E}}{\left(\left(\frac{1}{T}-\frac{1}{T-1}\right)\sum _{t=1}^{T-1}{r}_t+\frac{1}{T}{r}_T\right)}_{x_0=x}\\ & =\underset{\pi }{\mathbb{E}}{\left(\frac{-1}{T(T-1)}\sum _{t=1}^{T-1}{r}_t+\frac{1}{T}{r}_T\right)}_{x_0=x}\\ & =\frac{1}{T}\underset{\pi }{\mathbb{E}}{\left(\frac{-1}{(T-1)}\sum _{t=1}^{T-1}{r}_t+r_T\right)}_{x_0=x}\\ & =\frac{1}{T}{\left(\frac{-1}{(T-1)}\sum _{t=1}^{T-1}\underset{\pi }{\mathbb{E}}{r}_t+\underset{x_T}{\mathbb{E}}{r}_T\right)}_{x_0=x}\\ & =\frac{1}{T}{\left(-{\bar{r}}_{1\to (T-1)}+{\bar{r}}_T\right)}_{x_0=x}\text{（头上戴帽表示均值）}\\ & \approx \frac{1}{T}\times 0\\ & =0\end{array}\text{\hspace{1em}(16.20)(16.21)}$$

本文为原创，您可以：

• 点赞（支持博主）
• 收藏（待以后看）
• 转发（他考研或学习，正需要）
• 评论（或讨论）
• 引用（支持原创）
• 不侵权

上一篇：16.2 K-摇劈赌博机的贪心算法（赌博当然贪心）
下一篇：16.4 有模型策略估值算法