基本概念篇（二），强化学习过程

上篇文章介绍了强化学习的八个基本要素，利用这些要素，我们就可以将一个完整的强化学习过程描述出来。

强化学习基本过程与目标

大家在看其他的参考书时，在这部分其实都是把强化学习的过程描述为一个“马尔科夫决策过程”。我们首先可以回忆一下上一节中那个图，首先就是将强化学习过程离散化，分成一步一步的过程。那么这其中最重要的马尔科夫特性，其实讲的就是每一步之间的关系。简单来说，就是系统这一步的状态，只与系统前一步状态相关，而与历史状态无关。用公式表示就是：
$P\left[s_{t+1}|s_1,\cdots ,s_t\right]=P\left[s_{t+1}|s_t\right]$
这种简化从某种程度上来说是合理的，其实蕴含的意思就是说这一步状态$s_t$已经蕴含了历史信息。那么大家可以想想，这对$s_t$的要求其实挺高的，在决策中需要使用真正将能够表征蕴含历史信息的状态，而不能产生遗漏，否则就会产生问题。

那么，对于一次完整的强化学习过程，我们可以用如下参数来表示。首先，每一步环境的状态$s_t$可以构成一个集合，称为状态集合，用$S$表示；相应的，每一步Agent的动作$a_t$也可以构成一个集合，称为动作集合，用$A$表示；同时，每一步产生的奖励$r_t$可以构成一个集合，用$R$表示。因此，强化学习的目标，简单来说就是找到最优的策略${\pi }^{\ast }$，使得$R$最大。

要想求得$R$的最大，简单来说，就必须要在每个状态或者动作时，产生的价值都是最大，这样最终加在一起的价值才能最大。关于状态或者动作的价值评估，我们就需要使用到前面定义的概念状态价值函数$v_{\pi }\left(s\right)$和状态-行为值函数$q_{\pi }\left(s,a\right)$。
根据前面的定义，概念状态价值函数$v_{\pi }\left(s\right)$可表示为：
$$\begin{gathered} v_{\pi }\left(s\right)=E_{\pi }\left[r_{t+1}+\gamma \cdot r_{t+2}+{\gamma }^2\cdot r_{t+3}|s_t=s\right] \\ =E_{\pi }\left[r_{t+1}+\gamma \cdot \left(r_{t+2}+\gamma \cdot r_{t+3}\right)|s_t=s\right] \\ =E_{\pi }\left[r_{t+1}+\gamma \cdot v_{\pi }\left(s_{t+1}\right)|s_t=s\right] \end{gathered}$$
上面得到的$v_{\pi }\left(s\right)$和$v_{\pi }\left(s_{t+1}\right)$之间的这种关系，就称为贝尔曼方程。

同理，也可求出状态-行为值函数的贝尔曼方程为：
$q_{\pi }\left(s,a\right)=E_{\pi }\left[r_{t+1}+\gamma \cdot q_{\pi }\left(s_{t+1},a_{t+1}\right)|s_t=s,a_t=a\right]$
上述两个贝尔曼方程，在强化学习的过程中起到了核心作用，是后续算法的基本思路，即“通过贝尔曼方程的多伦迭代，使$v_{\pi }\left(s\right)$或$q_{\pi }\left(s,a\right)$最终收敛”。

状态价值函数与状态-行为值函数关系

可能童鞋们也发现了，$v_{\pi }\left(s\right)$和$q_{\pi }\left(s,a\right)$两个式子看起来很像，那么从定义角度出发，这两者之间是什么关系呢？大家可以看看下图：

纯手工绘图，丑，大家见笑了。
由上图可以看出，状态价值函数是由状态-行为值函数组成的，用公式表示如下：
$v_{\pi }\left(s\right)={\sum }_{a\in A}\pi \left(\mathrm{a}|\mathrm{s}\right){\mathrm{q}}_{\pi }\left(\mathrm{s},\mathrm{a}\right)$ (1)
同理，状态-行为值函数也可以由状态价值函数表示如下：
${\mathrm{q}}_{\pi }\left(\mathrm{s},\mathrm{a}\right)=r_s^a+\gamma {\sum }_{s^{\prime }\in S}{P}_{s{s}^{\prime }}^a{v}_{\pi }\left(s^{\prime }\right)$ (2)
将（2）代入（1）可得：
$v_{\pi }\left(s\right)={\sum }_{a\in A}\pi \left(\mathrm{a}|\mathrm{s}\right)\left[{\mathrm{r}}_{\mathrm{s}}^{\mathrm{a}}+\gamma {\sum }_{{\mathrm{s}}^{\prime }\in \mathrm{S}}{\mathrm{P}}_{{\mathrm{s}\mathrm{s}}^{\prime }}^{\mathrm{a}}{\mathrm{v}}_{\pi }\left({\mathrm{s}}^{\prime }\right)\right]$ (3)
将（1）代入（2）可得：
${\mathrm{q}}_{\pi }\left(\mathrm{s},\mathrm{a}\right)=r_s^a+\gamma {\sum }_{s^{\prime }\in S}{P}_{s{s}^{\prime }}^a{\sum }_{{\mathrm{a}}^{\prime }\in \mathrm{A}}\pi \left({\mathrm{a}}^{\prime }|{\mathrm{s}}^{\prime }\right){\mathrm{q}}_{\pi }\left({\mathrm{s}}^{\prime },{\mathrm{a}}^{\prime }\right)$ (4)

最优策略求解

我们知道了$v_{\pi }\left(s\right)$和$q_{\pi }\left(s,a\right)$两个式子的关系，下面我们来看看如何通过这两个式子找到最优的策略${\pi }^{\ast }$。
我们可以定义最优的状态价值函数是所有策略产生的状态价值函数的最大者，用公式表示为：
${\mathrm{v}}_{\ast }\left(\mathrm{s}\right)={\max }_{\pi }{\mathrm{v}}_{\pi }\left(\mathrm{s}\right)$
同样可以定义最优的状态-行为值函数：
$q_{\ast }\left(\mathrm{s},\mathrm{a}\right)={\max }_{\pi }{\mathrm{q}}_{\pi }\left(\mathrm{s},\mathrm{a}\right)$
则根据最优状态-行为值函数，可以定义最优策略为：
${\pi }_{\ast }\left(\mathrm{a}|\mathrm{s}\right)=\{\begin{array}{l}1\mathrm{i}\mathrm{f}\mathrm{a}=\arg {\max }_{\mathrm{a}\in \mathrm{A}}{\mathrm{q}}_{\ast }\left(\mathrm{s},\mathrm{a}\right)\\ 0\mathrm{e}\mathrm{l}\mathrm{s}\mathrm{e}\end{array}$ (5)
根据（1）和（5）可以得到下面的式子：
${\mathrm{v}}_{\ast }\left(\mathrm{s}\right)={\max }_{\mathrm{a}\in \mathrm{A}}{\mathrm{q}}_{\ast }\left(\mathrm{s},\mathrm{a}\right)$ (6)
再根据（2）和（6）可以得到下面的式子：
${\mathrm{q}}_{\ast }\left(\mathrm{s},\mathrm{a}\right)={\mathrm{r}}_{\mathrm{s}}^{\mathrm{a}}+\gamma {\sum }_{{\mathrm{s}}^{\prime }\in \mathrm{S}}{\mathrm{P}}_{{\mathrm{s}\mathrm{s}}^{\prime }}^{\mathrm{a}}{\mathrm{v}}_{\ast }\left({\mathrm{s}}^{\prime }\right)$ (7)
那么，和前面的（3）和（4）类似，最终我们可以得到下面两个式子：
${\mathrm{v}}_{\ast }\left(s\right)={\max }_{a\in A}\left({\mathrm{r}}_{\mathrm{s}}^{\mathrm{a}}+\gamma {\sum }_{{\mathrm{s}}^{\prime }\in \mathrm{S}}{\mathrm{P}}_{{\mathrm{s}\mathrm{s}}^{\prime }}^{\mathrm{a}}{\mathrm{v}}_{\ast }\left({\mathrm{s}}^{\prime }\right)\right)$ (8)
${\mathrm{q}}_{\ast }\left(\mathrm{s},\mathrm{a}\right)={\mathrm{r}}_{\mathrm{s}}^{\mathrm{a}}+\gamma {\sum }_{{\mathrm{s}}^{\prime }\in \mathrm{S}}{\mathrm{P}}_{{\mathrm{s}\mathrm{s}}^{\prime }}^{\mathrm{a}}{\max }_{{\mathrm{a}}^{\prime }}{\mathrm{q}}_{\ast }\left({\mathrm{s}}^{\prime },{\mathrm{a}}^{\prime }\right)$ (9)
上面的式子，是我们理解后续相关算法的基础，虽然看着有点多，但其实是由相关定义推导出来的，建议大家在这里多花点时间去理解。

举个小栗子

讲了这么多公式，下面我们给大家讲一个实际的例子，首先看下图：

上图是一个典型的MDP的例子，由图上我们可以看出，每个状态下可选择的行动都是两个，那么我们这里假设$\pi \left(\mathrm{a}|\mathrm{s}\right)=0.5$，且$\gamma =1$。
那么，根据我们前面的公式：$v_{\pi }\left(s\right)={\sum }_{a\in A}\pi \left(\mathrm{a}|\mathrm{s}\right)\left[{\mathrm{r}}_{\mathrm{s}}^{\mathrm{a}}+\gamma {\sum }_{{\mathrm{s}}^{\prime }\in \mathrm{S}}{\mathrm{P}}_{{\mathrm{s}\mathrm{s}}^{\prime }}^{\mathrm{a}}{\mathrm{v}}_{\pi }\left({\mathrm{s}}^{\prime }\right)\right]$ （3）可以列出如下方程组：

$\{\begin{array}{l}{v}_1=0.5\left(-1+v_1\right)+0.5\left(0+v_2\right)\\ v_2=0.5\left(-1+v_1\right)+0.5\left(-2+v_3\right)\\ v_3=0.5\left(0+0\right)+0.5\left(-2+v_4\right)\\ v_4=0.5\left(10+0\right)+0.5\left(1+0.2\ast v_2+0.4\ast v_3+0.4\ast v_4\right)\end{array}$

直接解上面的方程，可以得到如下结果：

$\{\begin{array}{l}{v}_1=-2.3\\ v_2=-1.3\\ v_3=2.7\\ v_4=7.4\end{array}$

那么，根据公式：${\mathrm{q}}_{\pi }\left(\mathrm{s},\mathrm{a}\right)=r_s^a+\gamma {\sum }_{s^{\prime }\in S}{P}_{s{s}^{\prime }}^a{v}_{\pi }\left(s^{\prime }\right)$ (2)和上面求出的各状态价值，可以得到：

$\{\begin{array}{l}q\left(s_1,Facebook\right)=-1+v_1=-3.3\\ q\left(s_1,Quit\right)=0+v_2=-2.3\ast \\ q\left(s_2,Facebook\right)=-1+v_1=-3.3\\ q\left(s_2,Study\right)=-2+v_3=0.7\ast \\ q\left(s_3,Study\right)=-2+v_4=5.4\ast \\ q\left(s_3,Sleep\right)=0+0=0\\ q\left(s_4,Study\right)=10+0=10\ast \\ q\left(s_4,Pub\right)=1+0.2v_2+0.4v_3+0.4v_4=4.78\end{array}$

由公式（5）可以得到本题的最优策略为：
{Quit, Study, Study, Study}
其实大家可以发现，根据前面的公式，最优策略的计算方法很多，有兴趣的童鞋可以使用其他公式来进行计算。