RLChina学习笔记（一） Introduction to Reinforcement Learning and MDP

Reinforcement Learning 简介

关于强化学习 RL

RL是很多学科交叉的领域，包括计算机科学，神经生物学，心理学等等。下图是一个RL多面性的示意图。
同时，RL也是机器学习里面的三范式之一，和监督学习，非监督学习三者构成整个机器学习的框架。

RL的特点

RL和其他学习方法不同的地方在于：
首先，RL方法没有标签，有的仅仅是一个奖励信号，RL的Agent通过不断试错的方法（Trial-and-error）去跟环境交互，达到优化自己目标的目的。这个奖励值一般是延时的奖励，或者是 spare reward，并不是即时的奖励。只有在一幕（episode）结束之后才能得到。
其次，监督学习处理的数据是iid（独立同分布）的，而RL基本上是处理序列形式的数据。
最后，Agnet的动作会影响到后续收集到的数据。

RL问题

RL问题可以用非常简单的语言描述，就是给定一个状态$S$，Agent决定作出一个动作$A$，该动作作用在环境上会返回一个奖励$R$，以及转移到下一个状态$S^{\prime }$，RL Agent的目标就是最大化累加的奖励和（cumulative reward）。那么为什么RL可以解决实际的问题呢？也就是所有的目标都可以描述成最大化累积的奖励的期望值。对于这样的问题，都可以用RL的方法去解决。

最后，在一个RL Agnet中，有以下几个模块构成。
Policy 策略
Value function 价值函数
Model 模型

RL方法分类

依照上面的模块，RL算法可以分为如下几类：

• Value based
  没有Policy，但是有Value function
• Policy based
  有Policy，但是没有Value function
• Actor Critic
  Policy和Value function两者都有

另外，根据Agent是否要学习环境的模型，可以分为：

• Model free RL
  Agent 不学习环境的模型，但学习Policy或者value function，那就是model free的RL。上面的分类中，三种方法都是Model free的RL。
• Model based RL
  Agent学习环境的模型，同时学习Policy或者value function的话，那就是model based的RL。

马尔可夫决策过程（Markov Decision Processes ）

马尔可夫决策过程（MDP）相当于是描述了一个RL的学习环境。MDP框架是目标导向的交互式学习问题的一个高度抽象。它提出，无论感官，记忆和控制设备的细节如何，无论要实现何种目标，任何目标导向的行为的学习问题都可以概括为智能体及其环境之间来回传递的三个信号，一个信号是用来表示智能体做出的动作（A），一个是用来表示做出该动作的基础（状态），一个信号是用来定义智能体的目标（收益），这个框架也许不能有效的表示所有的决策学习问题，但它已被证明是普遍有效的。

当环境是全观察的话，可以直接被定义成一个MDP。几乎所有的RL问题都可以被描述成MDP问题。MDP里的所有状态都具有马尔可夫性质。马尔可夫性质就是下一时刻的状态至于当前时刻的状态有关，与前面任意时刻无关，也就是说，$S_t$和$R_t$的每个可能值的出现的概率只取决于前一个状态$S_{t-1}$和前一个动作$A_{t-1}$，并且与之前更早的动作和状态完全无关，这就是马尔可夫性质。

下面介绍五元组$<S,A,p,R,\gamma >$.

• $S$：状态的集合
• $A$：动作的集合
• $p$：状态转移概率函数
• $R$：奖励函数
• $\gamma$：未来奖励的折扣因子，$\gamma \in [0,1]$

策略$\pi$ (Policy)
策略$\pi$是在给定状态下选择动作的概率分布，也是从状态到每个动作的选择概率之间的映射。

$$\pi (a|s)=\mathbb{P}[A_t=a|S_t=s]$$

给定一个马尔可夫决策过程（MDP）和一个Policy $\pi$：

$$p_{s,s^{\prime }}^{\pi }=\sum _{a\in A}\pi (a|s)p_{s,s^{\prime }}^a$$
$$R_s^{\pi }=\sum _{a\in A}\pi (a|s)R_s^a$$

状态价值函数 $v_{\pi }(s)$

状态价值函数 $v_{\pi }(s)$ 是一个MDP中，从状态$S$开始，遵循策略$\pi$，得到的所有奖励的期望值。
$$\begin{gathered} v_{\pi }(s)={\mathbb{E}}_{\pi }[G_t|S_t=s] \\ ={\mathbb{E}}_{\pi }[R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+...|S_t=s] \\ ={\mathbb{E}}_{\pi }[R_{t+1}+\gamma (R_{t+2}+\gamma R_{t+3}+...)|S_t=s] \\ ={\mathbb{E}}_{\pi }[R_{t+1}+\gamma G_{t+1}+|S_t=s] \\ ={\mathbb{E}}_{\pi }[R_{t+1}+\gamma v_{\pi }(S_{t+1})|S_t=s] \end{gathered}$$

动作价值函数 $Q_{\pi }(s,a)$

动作价值函数 $Q_{\pi }(s,a)$ 是一个MDP中，从状态$S$开始，采取动作$a$，遵循策略$\pi$，得到的所有奖励的期望值。
$$\begin{gathered} Q_{\pi }(s,a)={\mathbb{E}}_{\pi }[R_{t+1}+\gamma v(S_{t+1})|S_t=s,A_t=a] \\ ={\mathbb{E}}_{\pi }[R_{t+1}+\gamma {\mathbb{E}}_{a^{\prime }⌣\pi }Q(S_{t+1},a^{\prime })|S_t=s,A_t=a] \end{gathered}$$

Bellman Expectation Equations 贝尔曼期望方程

定义：最优价值函数 $v_{\ast }(s)$

在所有的策略policy中，最优状态价值函数$v_{\ast }(s)$就是在状态$S$下，following 策略 $\pi$，所能得到的最大的奖励$R$。
$$v_{\ast }(s)=\underset{\pi }{\max }{v}_{\pi }(s)$$
类似的，我们有最优动作价值函数$Q_{\ast }(s,a)$，在所有的策略policy中，在当前的状态$S$下，采取动作$a$之后，following 策略$\pi$，所能得到的最大的奖励$R$。
$$Q_{\ast }(s,a)=\underset{\pi }{\max }{q}_{\pi }(s,a)$$

定义：最优策略 ${\pi }^{\ast }$

如果$\forall s$，存在$\pi >{\pi }^{\prime }$，使得$v_{\pi }(s)\ge v_{{\pi }^{\prime }}(s)$，那么存在一个最优的策略${\pi }^{\ast }$比任何其他的策略都要好，或者一样好，即${\pi }^{\ast }\ge \pi$，$\forall \pi$。我们称这样的策略policy ${\pi }^{\ast }$为最优策略。
对于所有的最优策略，following它，都能够获得最优价值函数，$v_{{\pi }_{\ast }}(s)=v_{\ast }(s)$，同时也能获得最优动作价值函数$q_{{\pi }_{\ast }}(s,a)=q_{\ast }(s,a)$。
如果我们知道了$q_{\ast }(s,a)$，我们可以直接得到最优的policy。也就是在当前的状态$s$下面，现在我已经知道了最优的动作价值函数$q_{\ast }(s,a)$，那我只要根据它，选择$q(s,a)$最大的动作，这样得到的策略就是最优的${\pi }_{\ast }$ 。

Bellman Expectation Equations 贝尔曼最优方程

解贝尔曼期望方程：
假如我们知道整个环境的信息，包括转移概率$p$，奖励函数等等，就可以用动态规划的方法DP解决这个问题。但是通常情况下，在RL环境中，假设是我们不知道转移概率$p$，奖励函数，所以我们无法在RL设置中用贝尔曼最优方程直接去解决我们想要的答案。