《强化学习Sutton》读书笔记（二）——有限马尔科夫决策过程（Finite Markov Decision Processes）

此为《强化学习》第三章 Finite Markov Decision Processes。

用户-环境接口

马尔科夫决策过程 (Markov Decision Process, MDP) 是建模在交互中学习的一种直观框架。学习者和决策者被称为用户 (Agent) ，其他和用户无关的但能和用户进行交互的部分被称为环境 (Environment) 。第$t$时刻，用户处于状态$S_t$，得到奖励$R_t$，在某个策略下选择了行为$A_t$，从而进入下一个状态$S_{t+1}$，得到下一个状态的奖励$R_{t+1}$，如下图所示。

注意，有的时候环境并不会根据$(S_t,A_t)$提供一组固定的$(S_{t+1},R_{t+1})$，而是按概率分布随机选择一个，因此有

$$p(s',r|s,a) \doteq \Pr \{ S_{t+1}=s', R_{t+1}=r | S_t=s, A_t=a\}$$

概率显然满足

$$\sum_{s' \in \mathcal{S}} \sum_{r \in \mathcal{R}} p(s',r|s,a) = 1, ( \forall s \in \mathcal{S}, a \in \mathcal{A} )$$

目标和奖励

在学习决策过程中，目标 (Goal) 是最大化累计奖励的期望值。

离散时刻下的回报

离散时刻 (Episodic) 下，我们可以把整个过程分解为一个个时刻。在$t$时刻，我们定义期望回报 (Expected Return) $G_t$为未来各个时刻（直到最终时刻$T$）得到的奖励，即

$$G_t \doteq R_{t+1} + R_{t+2} + ... + R_{T}$$

通常，我们认为较近时刻得到的奖励应赋予更大的权重，因此我们给每个时刻的奖励加上一个衰减比例 (Discount Rate) $\gamma \in [0,1]$，即

$$G_t \doteq R_{t+1} + \gamma R_{t+2} + \gamma^2 R_{t+3} + ... = \sum_{k=0}^{\infty} \gamma^k R_{t+1+k}$$

显然有