【统计强化学习】马尔科夫决策过程

本系列文章主要参考UIUC姜楠老师开设的cs542

本章将介绍强化学习涉及到的相关基础概念。

马尔科夫决策过程

• 状态空间 $\mathcal{S}$。只考虑有限状态空间；
• 动作空间 $\mathcal{A}$。只考虑有限动作空间；
• 转移函数 $P:\mathcal{S}\times \mathcal{A}\to \Delta (\mathcal{S})$。其中 $\Delta (\mathcal{S})$ 是指状态空间上的概率分布；
• 奖励函数 $R:\mathcal{S}\times \mathcal{A}\to [0,R_{\text{max}}]$。只考虑非负且有界的奖励函数。其中，有界并非很强的假设，而非负可通过将奖励函数平移来获取；
• 折扣因子 $\gamma \in [0,1)$。

与环境交互

对于给定的的 MDP $M=(\mathcal{S},\mathcal{A},P,R,\gamma )$，智能体与环境交互的过程按照如下规则：智能体从初始状态 $s_1$ 出发；在每个时间步 $t=1,2,...$，智能体执行一个动作 $a_t\in \mathcal{A}$，获得即时奖励 $r_t=R(s_t,a_t)$，并到达下一个状态 $s_{t+1}\sim P(s_t,a_t)$。其交互过程：
$$\tau =(s_1,a_1,r_1,s_2,...,s_{H+1})$$

被称为长度为 $H$ 的轨迹。由于有时初始状态分布对于问题分析非常重要，所以这里将初始状态的分布 $\mu \in \Delta (\mathcal{S})$ 同样作为 MDP 的组成部分之一，即 $M=(\mathcal{S},\mathcal{A},P,R,\gamma ,\mu )$。

策略和价值函数

强化学习中的确定性策略是指从策略 $\pi :\mathcal{S}\to \mathcal{A}$ 中选择一个动作 $a_t=\pi (s_t)$；而随机性策略是指从策略 $\pi :\mathcal{S}\to \Delta (\mathcal{A})$ 中采样一个动作 $a_t\sim \pi (s_t)$。而智能体的目标则是选择一个策略 $\pi$ 来最大化折扣积累奖励的期望，即价值：
$$\mathbb{E}\left[\sum _{t=1}^{\infty }{\gamma }^{t-1}{r}_t|\pi ,s_1\right]$$

由于奖励函数是非负且有界的，所以可以得到优化目标的上界为：
$$0\le \sum _{t=1}^{\infty }{\gamma }^{t-1}{r}_t\le \sum _{t=1}^{\infty }{\gamma }^{t-1}{R}_{\text{max}}=\frac{R_{\text{max}}}{1-\gamma }$$

换句话讲，即任意轨迹的折扣积累奖励的范围为 $[0,\frac{R_{\text{max}}}{1-\gamma }]$。

最后，策略 $\pi$ 下的值函数 $V_M^{\pi }:\mathcal{S}\to \mathbb{R}$ 表示为：
$$V_M^{\pi }(s)=\mathbb{E}\left[\sum _{t=1}^{\infty }{\gamma }^{t-1}{r}_t|\pi ,s_1=s\right]$$

而策略 $\pi$ 下的动作值函数 $Q_M^{\pi }:\mathcal{S}\times \mathcal{A}\to \mathbb{R}$ 表示为：
$$Q_M^{\pi }(s,a)=\mathbb{E}\left[\sum _{t=1}^{\infty }{\gamma }^{t-1}{r}_t|\pi ,s_1=s,a_1=a\right]$$

贝尔曼方程

在策略评估的过程中，对于 $\forall s\in \mathcal{S},a\in \mathcal{A}$，有：
$$\begin{gathered} V^{\pi }(s)=Q^{\pi }(s,\pi (s)),\text{ for deterministic policy} \\ {V}^{\pi }(s)={\mathbb{E}}_{a\sim \pi (s)}[Q^{\pi }(s,a)],\text{ for stochastic policy} \\ {Q}^{\pi }(s,a)=R(s,a)+\gamma {\mathbb{E}}_{s^{\prime }\sim P(s,a)}[V^{\pi }(s^{\prime })] \end{gathered}$$

由于只考虑有限状态空间，所以为了理论推导方便，这里将相关的量表示成矩阵-向量形式。即，$V^{\pi }$ 可表示成向量 ${\mathbb{R}}^{|\mathcal{S}|}$；$R$ 和 $Q^{\pi }$ 都可表示成向量 ${\mathbb{R}}^{|\mathcal{S}\times \mathcal{A}|}$。

策略 $\pi$ 下的状态转移函数同样可以表示成 $|\mathcal{S}|\times |\mathcal{S}|$ 维的矩阵，其中从状态 $s$ 到状态 $s^{\prime }$ 的转移概率为 $[P^{\pi }{]}_{s,s^{\prime }}=\mathbb{E}[P(s^{\prime }|s,a)]$。此时，给定 MDP $M$ 和策略 $\pi$，该矩阵的第 $s$ 行表示从状态 $s$ 到下一个状态的转移概率分布，可表示为向量 $[P(s,\pi ){]}^{\top }$。

最后，策略 $\pi$ 下的奖励也可以表示成 $|\mathcal{S}|\times 1$ 维的向量，表示从各个状态 $s$ 出发按照策略 $\pi$ 执行时获取的第一步的奖励，即 $[R^{\pi }{]}_s={\mathbb{E}}_{a\sim \pi (s)}[R(s,a)]$。

在完成上述准备工作后，贝尔曼方程为：
$$\begin{array}{rl}& \\ [V^{\pi }{]}_s& =Q^{\pi }(s,\pi (s))\\ & =[R^{\pi }{]}_s+\gamma {\mathbb{E}}_{a\sim \pi (s)}{\mathbb{E}}_{s^{\prime }\sim P(s,a)}{V}^{\pi }(s^{\prime })\\ & =[R^{\pi }{]}_s+\gamma {\mathbb{E}}_{s^{\prime }\sim P(s,a)}{V}^{\pi }(s^{\prime })\\ & =[R^{\pi }{]}_s+\gamma ⟨P(s,\pi ),V^{\pi }⟩\end{array}$$

其中，$⟨\cdot ,\cdot ⟩$ 表示内积。由于上面的等式对于所有状态 $s\in \mathcal{S}$ 都成立，有：
$$V^{\pi }=R^{\pi }+\gamma P^{\pi }{V}^{\pi }\Rightarrow ({\mathbf{I}}_{|\mathcal{S}|}-\gamma P^{\pi })V^{\pi }=R^{\pi }$$

其中，${\mathbf{I}}_{|\mathcal{S}|}$ 表示单位矩阵。另外，可证明 $({\mathbf{I}}_{|\mathcal{S}|}-\gamma P^{\pi })$ 是可逆的，对任意非零向量 $x\in {\mathbb{R}}^{|\mathcal{S}|}$：
$$\begin{array}{rl}& \\ \parallel ({\mathbf{I}}_{|\mathcal{S}|}-\gamma P^{\pi })x{\parallel }_{\infty }& =\parallel x-\gamma P^{\pi }x{\parallel }_{\infty }\\ & \ge \parallel x{\parallel }_{\infty }-\gamma \parallel P^{\pi }x{\parallel }_{\infty }\\ & \ge \parallel x{\parallel }_{\infty }-\gamma \parallel x{\parallel }_{\infty }\\ & =(1-\gamma )\parallel x{\parallel }_{\infty }\\ & >0\end{array}$$

所以对于任意非零的向量，矩阵向量乘都不等于零，则矩阵为非奇异矩阵，即为可逆矩阵。所以有：
$$V^{\pi }=({\mathbf{I}}_{|\mathcal{S}|}-\gamma P^{\pi }{)}^{-1}{R}^{\pi }$$

其中，$V^{\pi }$ 为 $|\mathcal{S}|\times 1$ 维，$({\mathbf{I}}_{|\mathcal{S}|}-\gamma P^{\pi }{)}^{-1}$ 为 $|\mathcal{S}|\times |\mathcal{S}|$ 维，$R^{\pi }$ 为 $|\mathcal{S}|\times 1$ 维。当奖励函数只依据当前状态，与动作无关，即 $R(s,a)=R(s)$ 时，$R^{\pi }$ 则与策略无关。所以右式中只有第一项是与策略有关。此时，对于任意状态 $s_t$ 的值 $V^{\pi }(s_t)$，都为 $({\mathbf{I}}_{|\mathcal{S}|}-\gamma P^{\pi }{)}^{-1}$ 矩阵中的第 $t$ 行的 $1\times |\mathcal{S}|$ 向量与 $|\mathcal{S}|\times 1$ 维的 $R^{\pi }$ 矩阵的乘积，即为各个状态上奖励的线性组合，并且该线性系数是与初始状态分布有关的（因为 $P^{\pi }$ 是与状态转移概率分布和初始状态分布有关）。即有：
$$V^{\pi }(s_t)=d^{\pi ,s_t}(s_1)R_{s_1}^{\pi }+d^{\pi ,s_t}(s_2)R_{s_2}^{\pi }+\cdots +d^{\pi ,s_t}(s_{|\mathcal{S}|})R_{s_{|\mathcal{S}|}}^{\pi }$$

其中，系数矩阵中的元素 $d^{\pi ,s_i}(s_j)$ 表示在策略 $\pi$ 下从 $s_i$ 出发，后续转移到$s_j$ 的 discounted state occupancy 或 state occupancy，可表示为 $d^{\pi ,s}(s^{\prime })={\sum }_{t=1}^{\infty }{\gamma }^{t-1}\mathbb{P}[s_t=s^{\prime }|s_1=s,\pi ]$。联系之前提及的轨迹折扣奖励之和上界，该轨迹的系数之和，又或者说是该系数矩阵中每一行元素之和为 $\frac{1}{1-\gamma }$，所以可以通过对这个系数矩阵乘 $(1-\gamma )$ 来对所有系数进行标准化，得到标准化的 discounted state occupancy，即 $d^{\pi ,s}(s^{\prime })=(1-\gamma ){\sum }_{t=1}^{\infty }{\gamma }^{t-1}\mathbb{P}[s_t=s^{\prime }|s_1=s,\pi ]$。

贝尔曼最优方程

可证明总是存在确定性策略能够同时最大化任意状态下的值函数 $V^{\pi }(s)$ 以及最大化任意状态-动作对下的动作值函数 $Q^{\pi }(s)$。此时将这个最优策略表示为 ${\pi }_M^{\ast }$ 或简写成 ${\pi }^{\ast }$，同时可将最优值函数 $V^{{\pi }^{\ast }}$ 和最优动作值函数 $Q^{{\pi }^{\ast }}$ 简写成 $V^{\ast }$ 和 $Q^{\ast }$。

$V^{\ast }$ 和 $Q^{\ast }$ 满足如下最优贝尔曼方程，对于任意状态-动作对，有：
$$\begin{gathered} V^{\ast }(s)=\underset{a\in \mathcal{A}}{\max }{Q}^{\ast }(s,a) \\ {Q}^{\ast }(s,a)=R(s,a)+\gamma {\mathbb{E}}_{s^{\prime }\sim P(s,a)}[V^{\ast }(s^{\prime })] \end{gathered}$$

当得到最优动作值函数 $Q^{\ast }$ 时，就可以得到最优策略 ${\pi }^{\ast }={\pi }_{Q^{\ast }}$：
$${\pi }^{\ast }(s)=\arg \underset{a\in \mathcal{A}}{\max }{Q}^{\ast }(s,a),\forall s\in \mathcal{S}$$

另外，将基于当前动作值函数得到的策略简写为 ${\pi }_Q$。而贝尔曼最优方程为：
$$[V^{\pi }{]}_s=[R^{\pi }{]}_s+\gamma ⟨P(s,\pi ),V_f⟩$$

其中，$V_f(\cdot ):={\max }_{a\in \mathcal{A}}f(\cdot ,a)$，$f$ 可看做是迭代过程的动作值函数。

贝尔曼算子

为了方便后续理论推导，下面将使用算子的概念：算子可以理解为由一个函数映射到另一个函数。因此策略迭代过程中对值函数的一次更新也可以抽象成一次算子操作。因此，下面介绍贝尔曼算子和贝尔曼最优算子。

定义贝尔曼算子 ${\mathcal{T}}_M^{\pi }:{\mathbb{R}}^{|\mathcal{S}\times \mathcal{A}|}\to {\mathbb{R}}^{|\mathcal{S}\times \mathcal{A}|}$，或简写为 ${\mathcal{T}}^{\pi }$。有：
$${\mathcal{T}}^{\pi }{V}^{\pi }:=R^{\pi }+\gamma ⟨P^{\pi },V^{\pi }⟩$$

同理，定义贝尔曼最优算子 ${\mathcal{T}}_M^{\ast }:{\mathbb{R}}^{|\mathcal{S}\times \mathcal{A}|}\to {\mathbb{R}}^{|\mathcal{S}\times \mathcal{A}|}$，或简写为 ${\mathcal{T}}^{\ast }$。此时，对向量 $f\in {\mathbb{R}}^{|\mathcal{S}\times \mathcal{A}|}$，有：
$${\mathcal{T}}^{\ast }{V}^{\pi }:=R^{\pi }+\gamma ⟨P^{\pi },V_f⟩$$

其中，$V_f(\cdot ):={\max }_{a\in \mathcal{A}}f(\cdot ,a)$。

下面证明两种算子均具有唯一不动点。首先介绍压缩映射定理：称 $f$ 是压缩映射，如果它把 $\mathcal{X}$ 中任意两点的距离至少压缩 $k$ 倍，这里 $k$ 是一个小于 1 的常数，也就是说 $\mathcal{X}$ 中每两点 $x$ 与 $y$ 的像 $f(x)$ 和 $f(y)$ 之间的距离 $d(f(x),f(y))$ 不超过 $x$ 和 $y$ 的距离 $d(x,y)$ 的 $k$ 倍，即 $d(f(x),f(y))\le k\cdot d(x,y)$，那么 $f$ 在 $\mathcal{X}$ 中有唯一不动点 $x$，使得 $f(x)=x$。

这里使用无穷范数 $\parallel x{\parallel }_{\infty }={\max }_i{x}_i$ ，即值函数的最大元素来作为函数距离的度量。对贝尔曼算子，有：
$$\begin{array}{rl}& \\ \parallel {\mathcal{T}}^{\pi }{V}_1-{\mathcal{T}}^{\pi }{V}_2{\parallel }_{\infty }& =\parallel (R^{\pi }+\gamma ⟨P^{\pi },V_1⟩)-(R^{\pi }+\gamma ⟨P^{\pi },V_2⟩){\parallel }_{\infty }\\ & =\parallel \gamma ⟨P^{\pi },V_1⟩-\gamma ⟨P^{\pi },V_2⟩{\parallel }_{\infty }\\ & =\gamma \parallel ⟨P^{\pi },V_1⟩-⟨P^{\pi },V_2⟩{\parallel }_{\infty }\\ & =\gamma \underset{i}{\max }(⟨P^{\pi },V_1-V_2⟩{)}_i\\ & \le \gamma \underset{i}{\max }(V_1-V_2{)}_i\\ & =\gamma \parallel V_1-V_2{\parallel }_{\infty }\end{array}$$

对贝尔曼最优算子，同理可证明：
$$\begin{array}{rl}& \\ |[{\mathcal{T}}^{\ast }f-{\mathcal{T}}^{\ast }{f}^{\prime }{]}_{s,a}|& =|R(s,a)+\gamma ⟨P(s,a),V_f⟩-R(s,a)-\gamma ⟨P(s,a),V_{f^{\prime }}⟩|\\ & \le \gamma |⟨P(s,a),V_f-V_{f^{\prime }}⟩|\\ & \le \gamma \parallel V_f-V_{f^{\prime }}{\parallel }_{\infty }\\ & \le \gamma \parallel f-f^{\prime }{\parallel }_{\infty }\end{array}$$

因此对于贝尔曼算子以及贝尔曼最优算子而言都有唯一不动点，并且，不论初始值函数为何值，在经过足够多次算子运算后，都会收敛到这个不动点。另外，有 $\parallel {\mathcal{T}}^{\pi }{V}_1-{\mathcal{T}}^{\pi }{V}_2{\parallel }_{\infty }\le \gamma \parallel V_1-V_2{\parallel }_{\infty }$ 以及 $\parallel {\mathcal{T}}^{\ast }{V}_1-{\mathcal{T}}^{\ast }{V}_2{\parallel }_{\infty }\le \gamma \parallel V_1-V_2{\parallel }_{\infty }$，这个性质被称为 $\gamma$-压缩。最后，对于贝尔曼最优算子，有 $Q^{\ast }=\mathcal{T}{Q}^{\ast }$，即最优动作值函数经过一次贝尔曼最优算子运算后，得到的结果仍是最优动作值函数。