强化学习一（入门和马尔可夫决策过程）

1 强化学习的基本定义

本文主要关注于理论和公式推导

强化学习是智能体在与环境进行交互的过程中通过获得的奖励的多少来学习的过程，目标是使智能体获得最大的奖励。
强化学习不同于连接主义学习中的监督学习，主要表现在强化信号上，强化学习中由环境提供的强化信号是对产生动作的好坏作一种评价(通常为标量信号)，而不是告诉智能体如何去产生正确的动作。
一般地，强化学习包含八个基本要素：

1. 环境的状态$S$，状态$S_t\in \mathcal{S}$是$t$时刻环境状态集中的某一个状态。
2. 个体的动作$A$，动作$A_t\in \mathcal{A}(s)$是$t$时刻动作集中的某一个动作。
3. 环境的奖励$R$，t时刻个体在状态$S_t$采取的动作$A_t$对应的奖励$R_{t+1}$会在$t+1$时刻得到。
4. 个体的策略（policy），即个体会依据策略来选择动作，可以看作是一个函数。最常见的策略表达方式是一个条件概率分布$\pi (a|s)=\text{Pr}(A_t=a|S_t=s)$，即在状态$s$选择动作$a$的概率。此时概率大的动作被个体选择的概率较高。
5. 价值函数，在策略$\pi$和状态$s$采取行动后的价值，用$V_{\pi }(s)$表示。
6. 奖励衰减因子$\gamma \in [0,1]$,即未来奖励所占的比重。
7. 状态转移概率$P_{s{s}^{,}}^a$，假设转化到下一个状态$s^{\prime }$的概率仅与上一个状态s有关，与之前的状态无关。用公式表示就是：$P_{s{s}^{,}}^a=p(S_{t+1}=s^{,}|S_t=s,A_t=a)$，也有使用四参数的形式来表示，如$p(s^{,},r|s,a)$，本文中只使用$P_{s{s}^{,}}^a$表示$p(S_{t+1}=s^{,}|S_t=s,A_t=a)$。
8. 探索率$ϵ$

2 有限马尔可夫决策过程( Finite Markov Decision Processes)

2.1 基本假设和定义

2.1.1 马尔可夫性与状态转移概率

假设下一时刻的状态和奖励，只与前一时刻的状态与行为有关，与更早之前的状态与行为无关，这种状态就是具有马尔可夫性的。
在$t$时刻，在环境状态$S_t\in \mathcal{S}$下智能体选择一个动作$A_t\in \mathcal{A}(s)$。下一时刻，智能体收到一个标量奖励$R_t\in \mathcal{R}$，状态转移到下一时刻的状态$S_{t+1}$。所以，整个过程就变成了一个序列：
$$S_0,A_0,R_1,S_1,A_1,R_2,S_2,A_2,R_3,\dots$$

定义，在$t$时刻，状态$s$时，采取动作$a$之后，由状态$s$转移到下一时刻状态$s^{,}$并且得到收益$r$的概率为
$$p(s^{,},r|s,a)=\text{Pr}(S_t=s^{,},R_t=r|S_{t-1}=s,A_{t-1}=a)$$

---

值得一提地是：
$$\sum _{s^{,}\in \mathcal{S}}\sum _{r\in \mathcal{R}}p(s^{,},r|s,a)=1$$
这个定义来源于 Richard S. Sutton 的 Reinforcement Learning： An Introduction.
更常见的是，状态转移概率
$$P_{s{s}^{,}}^a=p(s^{,}|s,a)=\text{Pr}(S_t=s^{,}|S_{t_1}=s,A_{t-1}=a)$$
其实这也很好理解，他们之间满足下面的关系：
$$P_{s{s}^{,}}^a=\sum _{r\in \mathcal{R}}p(s^{,},r|s,a)$$

---

2.1.2 奖励与回报

定义期望奖励为$r(s,a)$，这是一个和状态，动作有关的期望：
$$\begin{array}{rl}{R}_s^a& =E[R_{t+1}|S_t=s,A_t=a]\\ & =\sum _{r\in \mathcal{R}}r\sum _{s^{,}\in \mathcal{S}}p(s^{,},r|s,a)\\ & =\sum _{s^{,}\in \mathcal{S}}\sum _{r\in \mathcal{R}}rp(s^{,},r|s,a)\end{array}$$
同时也可以定义一个关于$(s,a,s^{,})$的三元函数，如下所示
$$\begin{array}{rl}{R}_{s{s}^{,}}^a& =E[R_{t+1}|S_t=s,A_t=a,S_{t+1}=s^{,}]\\ & =\sum _{r\in \mathcal{R}}r\frac{p(s^{,},r|s,a)}{p(s^{,}|s,a)}\end{array}$$
这两个定义之间还存在着如下的关系：
$$\begin{array}{r}{R}_s^a=\sum _{s^{,}\in \mathcal{S}}{P}_{s{s}^{,}}^a{R}_{s{s}^{,}}^a\end{array}$$

定义智能体获得的奖励总和为回报，如下所示：
$$\begin{array}{rl}{G}_t& =R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+\dots \\ & =\sum _{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}\end{array}$$
在$t$和$t+1$时刻，有
$$\begin{array}{rl}{G}_t& =R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+\dots \\ & =R_{t+1}+\gamma G_{t+1}\end{array}$$

2.2 价值函数

根据当前状态$S_t$选择动作$A_t$的规则称之为策略，定义为$\pi (a|s)$，即从状态到每个动作的选择概率之间的映射。$\pi (a|s)$是指当前状态$S_t=s$选择动作$A_t=a$的概率。

2.2.1 状态价值函数和状态动作价值函数

将策略$\pi (a|s)$下状态$S_t=s$的价值函数记为$V_{\pi }(s)$，也就是从状态开始，智能体按照策略所获得的回报的概率期望值，定义状态价值函数如下
$$\begin{array}{rl}{V}_{\pi }(s)& =E_{\pi }[G_t|S_t=s]\\ & =E_{\pi }[R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+\dots |S_t=s]\\ & =E_{\pi }[\sum _{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}|S_t=s],\forall s\in \mathcal{S}\\ & =E_{\pi }[R_{t+1}+\gamma G_{t+1}|S_t=s]\end{array}$$
注：终止状态的价值始终为零。
将策略$\pi (a|s)$下状态$S_t=s$时采取动作$A_t=a$的价值函数记为$Q_{\pi }(s,a)$，定义状态动作价值函数如下
$$\begin{array}{rl}{Q}_{\pi }(s,a)& =E_{\pi }[G_t|S_t=s,A_t=a]\\ & =E_{\pi }[\sum _{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}|S_t=s,A_t=a]\\ & =E_{\pi }[R_{t+1}+\gamma G_{t+1}|S_t=s,A_t=a]\end{array}$$

2.2.2 $V_{\pi }(s)$和$Q_{\pi }(s,a)$之间的关系

1. 根据状态动作价值函数$Q_{\pi }(s,a)$和状态价值函数$V_{\pi }(s)$的定义，可以得到二者之间的转换关系：
   $$V_{\pi }(s)=\sum _{a\in A}\pi (a|s)Q_{\pi }(s,a)$$
   也就是说，状态价值函数是所有动作价值函数基于策略$\pi$的期望。通俗说就是某状态下所有状态动作价值乘以该动作出现的概率，最后求和，就得到了对应的状态价值。

2. 接着用状态价值函数$V_{\pi }(s)$来表示动作价值函数$Q_{\pi }(s,a)$,详细推导过程如下所示：
   $$\begin{array}{rl}{Q}_{\pi }(s,a)& =E_{\pi }[R_{t+1}+\gamma G_{t+1}|S_t=s,A_t=a]\\ & =E_{\pi }[R_{t+1}|S_t=s,A_t=a]+E_{\pi }[\gamma G_{t+1}|S_t=s,A_t=a]\\ & =E_{\pi }[R_{t+1}|S_t=s,A_t=a]+\gamma E_{\pi }[G_{t+1}|S_t=s,A_t=a]\end{array}$$
   接下来，我们分析一下第一项和第二项。
   根据$R_s^a$的定义，第一项显然等于$R_s^a$。再看第二项$E_{\pi }[G_{t+1}|S_t=s,A_t=a]$，这一项的含义是说在状态$s$和动作$a$下，下一时刻的回报。注意不是当前时刻的回报，所以也就是在状态$s$下采取动作$a$后所有可能的下一状态的回报的期望，即
   $$E_{\pi }[G_{t+1}|S_t=s,A_t=a]=\sum _{s^{,}\in S}{P}_{s{s}^{,}}^a{V}_{\pi }(s^{,}),$$
   其中，为$P_{s{s}^{,}}^a$状态转移概率。
   所以根据以上的分析，用状态价值函数$V_{\pi }(S_t)$来表示动作状态价值函数$Q_{\pi }(S_t,A_t)$满足：
   $$\begin{array}{r}{Q}_{\pi }(s,a)=R_s^a+\gamma \sum _{s^{,}\in S}{P}_{s{s}^{,}}^a{V}_{\pi }(s^{,})\end{array}$$

2.3 价值函数与贝尔曼方程

最简单的方式，就是我们可以根据上一节价值函数之间的关系直接带入到价值函数中，具体步骤如下所示：
$$\begin{array}{rl}{V}_{\pi }(s)& =\sum _{a\in A}\pi (a|s)Q_{\pi }(s,a)\\ & =\sum _{a\in A}\pi (a|s)[R_s^a+\gamma \sum _{s^{,}\in S}{P}_{s{s}^{,}}^a{V}_{\pi }(s^{,})]\\ & =\sum _{a\in A}\pi (a|s)[\sum _{s^{,}\in \mathcal{S}}{P}_{s{s}^{,}}^a{R}_{s{s}^{,}}^a+\gamma \sum _{s^{,}\in S}{P}_{s{s}^{,}}^a{V}_{\pi }(s^{,})]\\ & =\sum _{a\in A}\pi (a|s)\sum _{s^{,}\in \mathcal{S}}{P}_{s{s}^{,}}^a[R_{s{s}^{,}}^a+\gamma V_{\pi }(s^{,})]\end{array}$$

$$\begin{array}{rl}{Q}_{\pi }(s,a)& =R_s^a+\gamma \sum _{s^{,}\in S}{P}_{s{s}^{,}}^a{V}_{\pi }(s^{,})\\ & =R_s^a+\gamma \sum _{s^{,}\in S}{P}_{s{s}^{,}}^a[\sum _{a^{,}\in A}\pi (a^{,}|s^{,})Q_{\pi }(s^{,},a^{,})]\\ & =\sum _{s^{,}\in \mathcal{S}}{P}_{s{s}^{,}}^a{R}_{s{s}^{,}}^a+\gamma \sum _{s^{,}\in S}{P}_{s{s}^{,}}^a[\sum _{a^{,}\in A}\pi (a^{,}|s^{,})Q_{\pi }(s^{,},a^{,})]\\ & =\sum _{s^{,}\in \mathcal{S}}{P}_{s{s}^{,}}^a[R_{s{s}^{,}}^a+\gamma \sum _{a^{,}\in A}\pi (a^{,}|s^{,})Q_{\pi }(s^{,},a^{,})]\end{array}$$
上面两个公式就是$V_{\pi }(s)$和$Q_{\pi }(s,a)$的贝尔曼方程，可以从不同的书籍和参考资料中看到不同的表达形式，比如有给出第二个等号后的结果，也有给出最后等号后的结果，本节的推导给出了两种结果之间的关系。最根本的区别在于使用的期望奖励的形式的不同，但是这两种期望奖励之间是有关联的，已经在2.1.2节中给出。

2.4 最优策略和最优价值函数

最优策略：该策略$\pi$的状态值函数$V_{\pi }(s)$优于其他策略，用${\pi }^{\ast }$表示，对应的状态价值函数叫做最优价值函数$V^{\ast }(s)$。需要说明的是，最优策略可能不唯一。有如下定义：
$$V^{\ast }(s)=\underset{\pi }{\max }{V}_{\pi }(s)$$

同样地，最优策略也能产生最优的状态动作价值函数，定义如下：
$$Q^{\ast }(s,a)=\underset{\pi }{\max }{Q}_{\pi }(s,a)$$

上式说明：在状态$s$下，先采取动作$a$，之后按照最优策略去决策的期望回报。
对于最优的策略，基于动作价值函数我们可以定义为：
$${\pi }^{\ast }(a|s)=\{\begin{array}{ll}1& a=\arg {\max }_{a\in A}{Q}^{\ast }(s,a)\\ 0& a\ne \arg {\max }_{a\in A}{Q}^{\ast }(s,a)\end{array}$$

同时，利用$V_{\pi }(s)$和$Q_{\pi }(s,a)$之间的关系，也可以得到:
$$V^{\ast }(s)=\underset{a}{\max }{Q}^{\ast }(s,a)$$

$$Q^{\ast }(s,a)=R_s^a+\gamma \sum _{s^{,}\in S}{P}_{s{s}^{,}}^a{V}^{\ast }(s^{,})$$

所以贝尔曼最优方程如下所示
$$\begin{gathered} V^{\ast }(s)=\underset{a}{\max }(R_s^a+\gamma \sum _{s^{,}\in S}{P}_{s{s}^{,}}^a{V}^{\ast }(s^{,})) \\ {Q}^{\ast }(s,a)=R_s^a+\gamma \sum _{s^{,}\in S}{P}_{s{s}^{,}}^a\underset{a^{,}}{\max }{Q}^{\ast }(s^{,},a^{,}) \end{gathered}$$

贝尔曼最优方程表明：最优策略下，各个状态的价值一定等于这个状态下最优动作的期望回报。