强化学习笔记（二）

一、有限马尔科夫决策（MDP）过程

MDP就是一种通过交互式学习来实现目标的理论框架。进行学习及实施决策的机器被称为智能体（agent)，智能体之外的所有与其相互作用的事物被称为环境（environment)。智能体选择动作，环境对动作产生响应，并向智能体呈现新的状态，并产生一个收益。

（图片来源于网络）
有限MDP的几个要素：状态$S$，动作$A$，回报$R$
由于MDP中的下一状态及回报仅由当前状态和选择动作决定，故我们用下一状态与回报的条件概率来描述MDP的动态特性：
$$p(s^{\prime },r|s,a)=Pr(S_t=s^{\prime },R_t=r|S_{t-1}=s,A_{t-1}=a）$$
从公式中也可以看出状态和回报只与当前状态和动作有关，与更早之前的状态和动作无关——马尔科夫性。
我们也可根据该公式获取环境的其它信息（实质就是公式的推导变形）。
比如状态转移概率：
$$p(s^{\prime }|s,a)=\sum _{r\in R}p(s^{\prime },r|s,a)$$
（边缘概率等于联合概率积分或求和）
状态-动作二元组期望收益：
$$\begin{array}{rl}r(s,a)& =E[R_t|S_{t-1}=s,A_{t-1}=a]\\ & =\sum _{r\in R}r\ast p(r|s,a)\\ & =\sum _{r\in R}r\sum _{s^{\prime }}p(s^{\prime },r|s,a)\end{array}$$
状态-动作-后继状态三元组的期望收益：
$$\begin{array}{rl}r(s,a)& =E[R_t|S_{t-1}=s,A_{t-1}=a，S_t=s^{\prime }]\\ & =\sum _{r\in R}r\ast p(r|s,a,s^{\prime })\\ & =\sum _{r\in R}r\ast \frac{p(s^{\prime },r,s,a)}{p(s,a,s^{\prime })}\\ & =\sum _{r\in R}r\ast \frac{p(s^{\prime },r,s,a)}{p(s,a)}\ast \frac{p(s,a)}{p(s,a,s^{\prime })}\\ & =\sum _{r\in R}r\frac{p(s^{\prime },r|s,a)}{p(s^{\prime }|a,s)}\end{array}$$

智能体与环境的界限划分：
智能体和环境的界限划分决定了智能体的绝对控制边界（并非其知识的边界，智能体可以从环境中获取相关信息，只是不能控制这些信息）
智能体不能改变的事物被认为是在智能体外部，即是环境的一部分，收益也发生在智能体外部。
智能体-环境的界限可能被放在不同的位置，而界限的选择对性能有着非常大的影响。（比如自动驾驶问题，界限可以是轮胎的扭转，方向盘、油门、刹车定义的动作，大脑与肢体的交互过程等。不同的界限选择对性能有着很大的影响）。

二、收益、目标、回报

1.收益

在强化学习中，智能体的目标被形式化表征为一种特殊信号，称为收益，它通过环境传递给智能体，在每一时刻收益都是一个单一的标量数值$R_t\in R$

2.目标

非正式的说，智能体的目标就是最大化其收到的总收益。即最大化智能体接收到的标量信号（收益）累积和的概率期望值。

3.回报

回报是未来收益之和：
$$G_t=R_{t+1}+R_{t+2}+......+R_T$$
其中$T$为最终时刻，如果$T<+\infty$则对应的任务称为分幕式任务，反之若$T=+\infty$，则对应的任务称为持续性任务。

从数学上讲，为了使回报对应级数收敛，可以引入一个参数$\gamma$,$0\le \gamma \le 1$
从经济学的角度讲，未来的收益转化到当前收益要小于其本身（比如现在的100元和明年的100元并不等价）所以未来收益要想转化成当前收益是要乘一个折扣因子的，我们记这个因子为$\gamma$,$0\le \gamma \le 1$(具体内容可以查一下相关书籍，这里不做过多介绍）

所以我们给出持续性任务的折后回报公式：
$$G_t=R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+......=\sum _{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}$$
该式表明如果折扣因子$\gamma$,$\gamma <1$，只要序列$R_t$有界，回报必然收敛。
下面介绍对强化学习来说至关重要的回报的递归式：
$$\begin{array}{rl}{G}_t& =R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+......\\ & =R_{t+1}+\gamma (R_{t+2}+\gamma R_{t+3}+......)\\ & =R_{t+1}+\gamma G_{t+1}\end{array}$$

三、分幕式和持续性任务的统一表示

分幕式任务可以看做持续性任务的一种特殊情况，即在特定的状态下无论采取什么动作，环境的状态，回报等都不发生改变，如下图所示：

所以，分幕式任务和持续性任务都可以用持续性任务的一般形式表示。回报表示为：
$$G_t=\sum _{k=t+1}^T{\gamma }^{k-t-1}{R}_k$$
并允许上式$T=\infty$或$\gamma =1$，但二者不同时。

四、策略和价值函数

1.策略

策略实际上是梯度赌博机算法（强化学习笔记（一）中有介绍）中${\pi }_t(a)$的推广，比${\pi }_t(a)$多加了一个状态变量。即在状态$s$下，选择动作$a$的概率（条件概率），记为$\pi (a|s)$
$$\pi (a|s)=Pr(A_t=a|S_t=s)$$

2.价值函数

为了在给定策略下评估当前状态（或当前状态和动作）的优劣，引入价值函数。
状态价值函数$v_{\pi }(s)$用来评价状态的优劣：
$$v_{\pi }(s)=E_{\pi }[G_t|S_t=s]=E_{\pi }[\sum _{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}|S_t=s]$$
动作价值函数$q_{\pi }(s,a)$用来评价状态和动作的优劣：
$$q_{\pi }(s,a)=E_{\pi }[G_t|S_t=s,A_t=a]=E_{\pi }[\sum _{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}|S_t=s,A_t=a]$$
下面介绍强化学习中非常重要的状态价值函数的递归式**（贝尔曼方程）**

$$v_{\pi }(s)=\sum _a\pi (a|s)\sum _{s^{\prime },r}p(s^{\prime },r|s,a)[r+\gamma v_{\pi }(s^{\prime })]$$
即状态价值函数等于收益和下一状态的回报（经过折扣）期望之和。

推导过程如下(可忽略）：
$$\begin{array}{rl}{E}_{\pi }[r|S_t=s]& =E_{\pi }[R_t|S_t=s]\\ & =\sum _{r\in R}r\ast p(r|s)\\ & =\sum _{r\in R}r\ast \frac{p(r,s)}{p(s)}\\ & =\sum _{r\in R}r\ast \frac{{\sum }_{s^{\prime }}{\sum }_{a}p(s^{\prime },r,s,a)}{p(s,a)}\ast \frac{p(s,a)}{p(s)}\\ & =\sum _{r\in R}r\ast \sum _{s^{\prime }}\sum _{a}p(s^{\prime },r|s,a)\ast \pi (a|s)\\ & =\sum _a\pi (a|s)\sum _{s^{\prime },r}p(s^{\prime },r|s,a)r\end{array}$$
$$E_{\pi }[G_{t+1}|S_t=s]=\sum _a\pi (a|s)\sum _{s^{\prime },r}p(s^{\prime },r|s,a)v_{\pi }(s^{\prime })$$

合并两式得到:
$$\begin{array}{rl}{v}_{\pi }(s)& =E_{\pi }[G_t|S_t=s]\\ & =E_{\pi }[r+\gamma G_{t+1}|S_t=s]\\ & =E_{\pi }[r|S_t=s]+\gamma E_{\pi }[G_{t+1}|S_t=s]\\ & =\sum _a\pi (a|s)\sum _{s^{\prime },r}p(s^{\prime },r|s,a)[r+\gamma v_{\pi }(s^{\prime })]\end{array}$$

五、最优策略和最优价值函数

一个策略$\pi$如果说比另一个策略${\pi }^{\prime }$更好，那么一定有：
对于任意的$s\in S{v}_{\pi }(s)\ge v_{{\pi }^{\prime }}(s)$
由于总会存在一个策略不劣于其他所有策略，将不劣于其他所有策略的策略称为最优策略，最优策略可能不只有一个，我们用${\pi }_{\ast }$来表示最优策略。最优状态价值函数采用如下定义：
$$v_{\ast }(s)=ma{x}_{\pi }{v}_{\pi }(s)$$
类似的，最优动作价值函数由于如下定义：
$$q_{\ast }(s,a)=ma{x}_{\pi }{q}_{\pi }(s,a)$$
贝尔曼最优方程：
$$\begin{array}{rl}{v}_{\ast }(s)& =ma{x}_{a\in A}{q}_{{\pi }^{\ast }}(s,a)\\ & =ma{x}_{a\in A}{E}_{{\pi }^{\ast }}[G_t|S_t=s,A_t=a]\\ & =ma{x}_{a\in A}{E}_{{\pi }^{\ast }}[r+\gamma G_{t+1}|S_t=s,A_t=a]\\ & =ma{x}_{a\in A}{E}_{{\pi }^{\ast }}[r+\gamma v_{\ast }(s)|S_t=s,A_t=a]\\ & =ma{x}_{a\in A}\sum _{s^{\prime },r}p(s^{\prime },r|s,a)[r+\gamma v_{\pi }(s^{\prime })]\end{array}$$

最后两个等式就是$v_{\ast }$的贝尔曼最优方程的两种形式，贝尔曼最优方程阐述了如下事实：
最优策略下各个状态的价值一定是等于这个状态的最优动作的期望回报

类似的，$q_{\ast }$的贝尔曼最优方程如下：
$$\begin{array}{rl}{q}_{\ast }(s,a)& =E[R_{t+1}+\gamma ma{x}_{a^{\prime }}{q}_{\ast }(s^{\prime },a^{\prime })|S_t=s,A_t=a]\\ & =\sum _{s^{\prime },r}p(s^{\prime },r|s,a)[r+\gamma ma{x}_{a^{\prime }}{q}_{\ast }(s^{\prime },a^{\prime })\end{array}$$