强化学习（三）有限马尔可夫决策过程

1、智能体与环境

马尔科夫决策过程是通过与环境互动进行学习的直接框架，决策者称为智能体，智能体之外的一切称为环境，它们不断交互，智能体选择动作，环境反馈给智能体新的状态和奖励。

具体地说，智能体与环境交互时，随着时间步的推移，产生形以下的序列：
$$S_0,A_0,R_1,S_1,A_1,R_2,S_2,A_2,R_3,\cdots$$

其中，$S,A$ 和 $R$ 分别对应状态、动作和奖励。

在有限马尔可夫决策过程中，$S,A$ 和 $R$ 的集合都具有有限数量的元素，在这种情况下，随机变量 $R_t$ 和 $S_t$ 可以被定义为离散概率分布，且仅依赖前一状态和动作，即
p ( s ′ , r ∣ s , a ) ≐ P r { S t = s ′ , R t = r ∣ S t − 1 = s , A t − 1 = a } s ′ , s ∈ S , r ∈ R , a ∈ A ( s ) p(s^\prime,r|s,a)\doteq Pr\{S_t=s^\prime,R_t=r |S_{t-1}=s,A_{t-1}=a\}\quad\quad\quad s^\prime,s\in\cal{S},r\in\cal{R},a\in\cal{A}(s) p(s′,r∣s,a)≐Pr{St​=s′,Rt​=r∣St−1​=s,At−1​=a}s′,s∈S,r∈R,a∈A(s)

$p$ 的概率完全表征了系统的动态过程，$S_t$ 和 $R_t$ 的每个可能值的概率只取决于之前的状态 $S_{t-1}$和动作 $A_{t-1}$ 而与更早的状态和动作无关。它是一个具有四个参数的确定性函数，满足
$$\sum _{s^{\prime }\in \mathcal{S}}\sum _{r\in \mathcal{R}}p((s^{\prime },r|s,a)=1$$

由四参数动态函数 $p$ 可以计算出任何关于环境的信息，例如状态转移概率
p ( s ′ ∣ s , a ) ≐ P r { S t = s ′ ∣ S t − 1 = s , A t − 1 = a } = ∑ r ∈ R p ( s ′ , r ∣ s , a ) p(s^\prime|s,a)\doteq Pr\{S_t=s^\prime|S_{t-1}=s,A_{t-1}=a\}=\sum_{r\in\cal{R}}p(s^\prime,r|s,a) p(s′∣s,a)≐Pr{St​=s′∣St−1​=s,At−1​=a}=r∈R∑​p(s′,r∣s,a)

2、目标和奖励

在强化学习中，智能体的目的或目标被抽象成一个特殊的信号，称为奖励。智能体的目标是最大化其获得的奖励总量，使用奖励信号来形式化目标是强化学习最显著的特征之一。

乍一看通过奖励信号来实现目标好像不太合理，但是实践过程中它很灵活。例如，为了让机器人学会走路，可以在每个时间步设置与机器人向前运动成正比的奖励；让机器人学会如何逃离迷宫，可以设置每经过一个时间步给 -1 的奖励。从这些例子中可以看出，智能体总是最大化它的奖励总量，因此我们设置的奖励必须真正表明我们希望完成的任务。

3、收益和回合

到目前为止，我们知道，智能体的目标是最大化其累计获得的奖励，如果在时间步长 $t$ 之后获得的奖励序列为 $R_{t+1},R_{t+2},R_{t+3},\cdots$，我们希望最大化的是收益，记作 $G_t$，收益即是奖励的总和：
$$G_t\doteq R_{t+1}+R_{t+2}+R_{t+3}+\cdots +R_T$$

其中 $T$ 是最终时间步。当智能体-环境的交互可以分解为子序列时，称之为回合。例如玩游戏，走出迷宫，每一个回合都以终端状态结束，然后重置到起始状态，我们称之为回合任务。

但在很多时候，智能体和环境的交互不能自然地分解为回合，而是无限制地持续进行，我们称之为持续任务，那么收益就不能以上述公式计算了，因为 $T=\infty$，收益本身就很容易是无穷大的。我们需要另外一个概念：折扣，即
$$G_t\doteq R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+\cdots =\sum _{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}$$

其中 $\gamma$ 是一个参数，$0\le \gamma \le 1$，称之为折扣率。

当 $\gamma =0$ 时，可以认为智能体是“短视”的，因为它只关心最大化眼前的奖励。而当 $\gamma \to 1$ 时，可以认为智能体是“远见”的，因为智能体更强烈地考虑未来的奖励。
$$\begin{array}{rl}{G}_t& \doteq R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+{\gamma }^3{R}_{t+4}+\cdots \\ & =R_{t+1}+\gamma (R_{t+2}+\gamma R_{t+3}+{\gamma }^2{R}_{t+4}+\cdots )\\ & =R_{t+1}+\gamma G_{t+1}\end{array}$$

这种方法可以使得计算收益变得容易。虽然收益是无穷级数，但当 $\gamma <0$，它是收敛的。

4、回合任务和持续任务的统一符号

前一节中，我们介绍了两种强化学习任务：回合任务和持续任务。为了进行统一，有必要建立一种可以同时讨论这两种任务的符号。

在回合任务中，我们考虑的不是一个长时间步骤序列，而是一系列的回合，每个回合都由有限个时间步骤序列组成，因此在编号时不仅要考虑时间步 $t$，还要考虑回合数 $i$。但是，当我们考虑回合任务时，我们没必要区分不同的回合，也就是放弃对回合进行编号。回合任务中，收益为有限个数之和，在持续任务中，收益为无限个数之和，这两者可以通过将回合终止视为一种特殊状态统一起来，这种状态只会向自身过渡，并且只产生零奖励。

5、策略和价值函数

几乎所有的强化学习算法都涉及估计价值函数—状态价值函数（或状态-动作价值函数），用于评价智能体在给定状态下的表现（或在给定状态下执行给定动作的表现）的好坏，这里“好坏”是根据预期的未来收益来定义的。当然，智能体在未来获得的收益的期望取决于它将采取什么动作，因此价值函数是根据特定的动作方式（策略）来定义的。

策略是从状态到可能动作的概率的映射，如果智能体在时间步 $t$ 遵循策略 $\pi$，则 $\pi (a|s)$ 是 $S_t=s$ 时 $A_t=a$ 的概率。

策略 $\pi$ 下状态 $s$ 的价值函数是从状态 $s$ 开始之后的期望收益，记为 $v_{\pi }(s)$，有
$$v_{\pi }(s)\doteq \mathbb{E}[G_t|S_t=s]=\mathbb{E}[\sum _{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}|S_t=s]$$

其中，$\mathbb{E}[\cdot ]$ 表示智能体在遵循策略 $\pi$ 的情况下随机变量的期望值，我们称 $v_{\pi }$ 为策略 $\pi$ 的状态价值函数。

同样，策略 $\pi$ 下，在状态 $s$ 下采取动作 $a$ 的价值函数是从状态 $s$、动作 $a$ 开始之后的期望收益，记为 $q_{\pi }(s,a)$，有
$$q_{\pi }(s,a)\doteq \mathbb{E}[Gt|S_t=s,A_t=a]=\mathbb{E}[\sum _{k=1}^{\infty }{\gamma }^k{R}_{t+k+1}|S_t=s,A_t=a]$$

我们称 $q_{\pi }$ 为策略 $\pi$ 的动作价值函数。

价值函数 $v_{\pi }$ 和 $q_{\pi }$ 可以根据过去的经验估计，例如，智能体遵循策略 $\pi$，那么当遇到某状态的次数趋于无穷时，那么该状态收益的平均值将收敛于该状态的价值 $v_{\pi }(s)$，状态-动作的价值 $q_{\pi }(s)$ 也是如此，我们称这种估计方法为蒙特卡罗方法，因为它们是对大量随机样本的实际收益进行平均。当然，如果有很多的状态，那么这种方法可能不太实际（需要单独保存每个状态的收益平均值）。

在强化学习和动态规划中价值函数的一个基本属性是它们满足递归关系，
$$\begin{array}{rl}{v}_{\pi }(s)& \doteq {\mathbb{E}}_{\pi }[G_t|S_t=s]\\ & ={\mathbb{E}}_{\pi }[R_{t+1}+\gamma G_{t+1}|S_t=s]\\ & =\sum _a\pi (a|s)\sum _{s^{\prime }}\sum _{r}p(s^{\prime },r|s,a)[r+\gamma \mathbb{E}[G_{t+1}|S_{t+1}=s^{\prime }]]\\ & =\sum _a\pi (a|s)\sum _{s^{\prime },r}p(s^{\prime },r|s,a)[r+\gamma v_{\pi }(s^{\prime })]\end{array}$$

上式为 $v_{\pi }$ 的贝尔曼方程，它表达了一个状态的价值函数与其下一个状态的价值函数之间的关系，如下图所示，从顶部的状态 $s$ 开始，智能体可以采取三种动作的任意一个，环境反馈下一状态 $s^{\prime }$（图中有两种状态，环境反馈其中一种）以及奖励 $r$，需要注意的是 $s^{\prime }$ 和 $r$ 取决于状态转移概率 $p$。贝尔曼方程根据概率对每种可能进行加权，它指出初始状态的价值必须等于预期的下一状态的（折扣）价值加上沿途预期的奖励。

6、最优策略和最优价值函数

解决强化学习任务大致就是，找到一个在长期内获得大量奖励的策略，对于马尔可夫决策过程，如果策略 $\pi$ 在所有状态下的期望收益都大于或等于策略 ${\pi }^{\prime }$，即 $v_{\pi }(s)\ge v_{{\pi }^{\prime }}(s),\forall s\in \mathcal{S}$，那么我们定义策略 $\pi$ 优于策略 ${\pi }^{\prime }$，即 $\pi \ge {\pi }^{\prime }$。那么至少有一个策略优于或等于所有其他策略，这就是最优策略，记为 ${\pi }_{\ast }$，对应的状态价值函数称为最优状态价值函数，记为 $v_{\ast }$；对应的状态动作价值函数称为最优状态动作价值函数。
$$\begin{array}{rl}{v}_{\ast }(s)& \doteq \underset{\pi }{\max }{v}_{\pi }(s),\forall s\in \mathcal{S}\\ q_{\ast }(s,a)& \doteq \underset{\pi }{\max }{q}_{\pi }(s,a),\forall s\in \mathcal{S},a\in \mathcal{A}(s)\end{array}$$

二者之间的关系如下：
$$q_{\ast }(s,a)=\mathbb{E}[R_{t+1}+\gamma v_{\ast }(S_{t+1})|S_t=s,A_t=a]$$

$v_{\ast }$ 的贝尔曼最优方程表示最优策略下某一状态的值必须等于该状态下最佳行动的期望收益：
$$\begin{array}{rl}{v}_{\ast }(s)& =\underset{a\in \mathcal{A}(s)}{\max }{q}_{{\pi }_{\ast }}(s,a)\\ & =\underset{a}{\max }{\mathbb{E}}_{{\pi }_{\ast }}[G_t|S_t=s,A_t=a]\\ & =\underset{a}{\max }{\mathbb{E}}_{{\pi }_{\ast }}[R_{t+1}+\gamma G_{t+1}|S_t=s,A_t=a]\\ & =\underset{a}{\max }\mathbb{E}[R_{t+1}+\gamma v_{\ast }(S_{t+1})|S_t=s,A_t=a]\\ & =\underset{a}{\max }\sum _{s^{\prime },r}p(s^{\prime },r|s,a)[r+\gamma v_{\ast }(s^{\prime })]\end{array}$$

$q_{\ast }$ 的贝尔曼最优方程为：
$$\begin{array}{rl}{q}_{\ast }(s,a)& =\mathbb{E}[R_{t+1}+\gamma \underset{a^{\prime }}{\max }{q}_{\ast }(S_{t+1},a^{\prime })|S_t=s,A_t=a]\\ & =\sum _{s^{\prime },r}p(s^{\prime },r|s,a)[r+\gamma \underset{a^{\prime }}{\max }{q}_{\ast }(s^{\prime },a^{\prime })]\end{array}$$

对于马尔可夫决策过程，$v_{\ast }$ 最优贝尔曼方程有唯一解，而一旦有了 $v_{\ast }$，确定最优策略就简单了，每个状态 $s$ 都会有一个或多个动作在贝尔曼方程中达到最大值，任何只给这些动作分配非零概率的策略均为最优策略。而一旦有了 $q_{\ast }$，选择最优动作更加容易了，对于任何状态 $s$，最大的 $q_{\ast }(s,a)$ 即时最优动作。

虽然求解贝尔曼最优方程为找到最优策略提供了一条途径，但是它至少依赖三个假设：① 准确知道环境动态（状态转移概率）；② 足够的计算资源完成方程组求解；③ 马尔可夫性质。因此我们降低要求至近似解即可。