强化学习笔记1

研究强化学习的有两拨人，一拨是计算机出身，认为强化学习是机器学习的分支，考虑到现阶段的所谓主流机器学习大量使用概率统计知识，机器学习约等同统计机器学习，而强化学习本是炒冷饭，是被机器学习的火热带起来的，计算机出身的人编写的强化学习资料中也充斥着期望、方差、条件期望等统计学术语，现阶段机器学习、深度学习等研究的火热也是这拨人发动起来的；一拨人是控制出身，认为强化学习约等同于最优控制，具体来说是最优控制中的动态规划，再具体来说是提供了一种求解动态规划中Bellman方程的方法，控制出身的人编写的强化学习资料中充斥着系统方程、Lyapunov稳定性等术语，并且控制出身的人研究强化学习或者机器学习的目的不纯，更多地是想搭前一拨人带起来的流行趋势便车，在研究里面随便套一下已有的机器学习方法，显得高大上一点，而不是考虑机器学习究竟是否适用于研究的问题（或者更进一步，究竟研究的问题是不是非要用机器学习不可，优势在哪里，其他方法是不是就不行了）。总之，两拨人的研究互相不友好，导致的结果是彼此看对方的资料往往看得一头雾水，不得要领，这一点在本人尝试看计算机出身的人编写的强化学习资料时感受颇深，下面的笔记就是对这一过程的记录。

1.关于概率

前面已经说过，计算机出身的人编写的强化学习资料以概率统计为基础知识，控制出身的人如果不是研究随机系统控制的话，估计学生阶段学习的概率统计课程早就还给老师了，因此首先需要回顾一下概率统计的基本知识，这一看后面的公式才不至于发懵。

概率在数学上没有严格的定义，数学上利用集合论和公理化方法描述概率，具体如下(见文献[1])：

概率： 设$\mathcal{F}$是由$\Omega$的一些子集组成的集合（这种由集合组成的集合一般叫做集合系），$P=P(\cdot )$是$\mathcal{F}$上有定义的实值函数。若定义域$\mathcal{F}$和函数$P$满足如下条件：

• $\Omega \in \mathcal{F}$；
• 若$A\in \mathcal{F}$，则$A^c=\Omega -A\in \mathcal{F}$；
• 若$A_n\in \mathcal{F}$(一切$n\ge 1$)，则$\bigcup _{n=1}^{\infty }{A}_n\in \mathcal{F}$；
• $P(A)\ge 0$(一切$A\in \mathcal{F}$)；
• $P(\Omega )=1$；
• 若$A_n\in \mathcal{F}$(一切$n\ge 1$)，且两两不相交，就有

$$\begin{array}{r}P\left(\bigcup _{n=1}^{\infty }{A}_n\right)=\sum _{n=1}^{\infty }P(A_n)\end{array}$$

则称$P$是$\mathcal{F}$上的概率测度（简称概率），$P(A)$为$A$的概率（也称$A$发生的概率）。

考虑到我们不是钻研数学，对上述描述不必较真，只需记住概率是一个取值为非负的函数，然后与概率打交道的是离散随机变量和连续随机变量两类，并且有下面一些基本特性。

• 对于离散随机变量$X$，用$p(X=x)$表示$X$取值$x$的概率，一般简写为$p(x)$，称为概率分布或者概率函数，并且有$\sum _{x}p(x)=1$；对于连续随机变量$X$，用$p(a<X<b)={\int }_a^{b}p(x)\mathrm{d}x$表示$X$取值在$(a,b)$区间的概率，$p(x)$称为概率密度函数，并且有${\int }_{-\infty }^{+\infty }p(x)\mathrm{d}x=1$，通常简写为$\int p(x)\mathrm{d}x=1$。
• 描述随机变量性质最常用的两个量是期望和方差，对于离散随机变量$X$，其期望为$\mathbb{E}(X)=\sum _{x}xp(x)$；对于连续随机变量$X$，其期望为$\mathbb{E}(X)={\int }_{-\infty }^{+\infty }xp(x)\mathrm{d}x$，通常简写为$\mathbb{E}(X)=\int xp(x)\mathrm{d}x$。无论离散还是连续随机变量，其方差均满足$\mathbb{V}(X)=\mathbb{E}[(X-\mathbb{E}(X){)}^2]=\mathbb{E}(X^2)-(\mathbb{E}(X){)}^2$。
• 对于两个离散随机变量$X$和$Y$，用$p(x,y)=p(X=x,Y=y)$表示$X$取值$x$且$Y$取值$y$的概率，称为联合分布，用$p(x)$和$p(y)$分别表示$X$和$Y$的边缘分布，且有$p(x)=\sum _{y}p(x,y)$，$p(y)=\sum _{x}p(x,y)$；对于两个连续随机变量$X$和$Y$，用$p((X,Y)\in D)={\iint }_{D}p(x,y)\mathrm{d}x\mathrm{d}y$表示$X$和$Y$的取值在区间$D$上的概率，$p(x,y)$称为联合分布密度，用$p(x)$和$p(y)$分别表示$X$和$Y$的边缘分布密度，且有$p(x)=\int p(x,y)\mathrm{d}y$，$p(y)=\int p(x,y)\mathrm{d}x$。
• 对于两个离散随机变量$X$和$Y$，用$p(x|y)=p(X=x|Y=y)$ 表示在$Y$取值为$y$的条件下，$X$取值为$x$的概率，即条件概率，注意$p(x|y)$是对$X$取值概率的描述，满足$\sum _{x}p(x|y)=1$；类似地，对于两个连续随机变量$X$和$Y$，用$p(x|y)$表示条件概率密度，满足$\int p(x|y)\mathrm{d}x=1$。无论离散还是连续随机变量，均有$p(x,y)=p(x|y)p(y)=p(y|x)p(x)$。
• 有了条件概率的概念后，就可以定义条件期望了，对于离散随机变量$X$和$Y$，称$\mathbb{E}(X|Y)=\sum _{x}xp(x|y)$为在$Y=y$的条件下$X$的条件期望；对于连续随机变量$X$和$Y$，称$\mathbb{E}(X|Y)=\int xp(x|y)\mathrm{d}x$称为在$Y=y$的条件下$X$的条件期望，$\mathbb{E}(X|Y)$可视为关于$Y$的函数。
• 多重期望定理：$\mathbb{E}(X)=\mathbb{E}(\mathbb{E}(X|Y))$。已知$\varphi (X,Y)$为$X$、$Y$的函数，通常利用多重期望定理来计算$\varphi (X,Y)$的期望，$\mathbb{E}(\varphi (X,Y))=\mathbb{E}[\mathbb{E}(\varphi (X,Y)|X)]$，即首先计算在给定$X$后$\varphi (X,Y)$的期望，随后对$\mathbb{E}(\varphi (X,Y)|X)$再求期望。
• 与条件期望对应的概念有条件方差，$\mathbb{V}(X|Y)=\mathbb{E}[(X-\mathbb{E}(X|Y){)}^2|Y]=\mathbb{E}(X^2|Y)-(E(X|Y){)}^2$；方差分解公式：$\mathbb{V}(X)=\mathbb{V}(\mathbb{E}(X|Y))+\mathbb{E}(\mathbb{V}(X|Y))$。

2.关于状态值函数和动作值函数

带着上面的基本知识开始强化学习之旅，主要参考文献[2]，并且以有限状态Markov决策过程为研究对象，主要要素为状态集$\mathcal{S}$、动作集$\mathcal{A}$和奖励集$\mathcal{R}$。在给定上一时刻的状态$s\in \mathcal{S}$和动作$a\in \mathcal{A}$后，特定的状态$s^{\prime }\in \mathcal{S}$和奖励$r\in \mathcal{R}$发生的概率为
$$p(s^{\prime },r|s,a)\doteq p(S_t=s^{\prime },R_t=r|S_{t-1}=s,A_{t-1}=a)\text{\hspace{1em}(1)}$$

利用$p(s^{\prime },r|s,a)$可以进一步计算状态转移概率：
$$p(s^{\prime }|s,a)\doteq p(S_t=s^{\prime }|S_{t-1}=s,A_{t-1}=a)=p(s^{\prime }|s,a)=\sum _{r\in \mathcal{R}}p(s^{\prime },r|s,a)\text{\hspace{1em}(2)}$$

计算状态-动作对的期望奖赏：
$$r(s,a)\doteq \mathbb{E}[R_t|S_{t-1}=s,A_{t-1}=a]=\sum _{r\in \mathcal{R}}rp(r|s,a)=\sum _{r\in \mathcal{R}}r\sum _{s^{\prime }\in \mathcal{S}}p(s^{\prime },r|s,a)\text{\hspace{1em}(3)}$$

计算状态-动作-下一状态的期望奖赏：
$$r(s,a,s^{\prime })\doteq \mathbb{E}[R_t|S_{t-1}=s,A_{t-1}=a,S_t=s^{\prime }]=\sum _{r\in \mathcal{R}}rp(r|s,a,s^{\prime })=\sum _{r\in \mathcal{R}}r\frac{p(s^{\prime },r|s,a)}{p(s^{\prime }|s,a)}\text{\hspace{1em}(4)}$$

上面的式子无非是利用条件概率的性质进行一些变换的把戏，切莫被其唬住，一个原则是，条件概率括号中竖线右边的公共部分照写，然后套用前面提到的两个变量情形下的条件概率性质。有了前面的一些术语后，强化学习进一步引入与累积奖赏有关的值函数，主要是状态值函数和动作值函数两类，通过优化值函数进行学习，最终目的是获得策略，即给定状态下选择动作的概率$\pi (a|s)=p(a|s)$，也就是条件概率。

• 累积奖赏

$$\begin{array}{rl}{G}_t& =R_{t+1}+\gamma R_{r+2}+{\gamma }^2{R}_{t+3}+{\gamma }^3{R}_{t+4}+\cdots \\ & =R_{t+1}+\gamma (R_{t+2}+\gamma R_{t+3}+{\gamma }^2{R}_{t+4}+\cdots )\\ & =R_{t+1}+\gamma G_{t+1}\end{array}\text{\hspace{1em}(5)}$$

• 状态值函数
  $$v_{\pi }(s)\doteq {\mathbb{E}}_{\pi }[G_t|S_t=s]={\mathbb{E}}_{\pi }\left[\sum _{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}|S_t=s\right]\text{\hspace{1em}(6)}$$

上式中下标$\pi$只是为了表明状态值函数是和特定策略$\pi$有关的，其实还是求期望。

• 动作值函数
  $$q_{\pi }(s,a)\doteq {\mathbb{E}}_{\pi }[G_t|S_t=s,A_t=a]={\mathbb{E}}_{\pi }\left[\sum _{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}|S_t=s,A_t=a\right]\text{\hspace{1em}(7)}$$

对于状态值函数，可以进一步进行分析，根据定义有
$$\begin{array}{rl}{v}_{\pi }(s)& ={\mathbb{E}}_{\pi }[G_t|S_t=s]\\ & ={\mathbb{E}}_{\pi }[R_{t+1}+\gamma G_{t+1}|S_t=s]\\ & ={\mathbb{E}}_{\pi }[R_{t+1}|S_t=s]+\gamma {\mathbb{E}}_{\pi }[G_{t+1}|S_t=s]\end{array}\text{\hspace{1em}(8)}$$
对于${\mathbb{E}}_{\pi }[R_{t+1}|S_t=s]$，可知
$$\begin{array}{rl}{\mathbb{E}}_{\pi }[R_{t+1}|S_t=s]& =\sum _{r}rp(r|s)\\ & =\sum _{r}r\sum _{s^{\prime }}p(s^{\prime },r|s)\\ & =\sum _{r}r\sum _{s^{\prime }}\sum _{a}p(s^{\prime },r|s,a)\pi (a|s)\\ & =\sum _a\pi (a|s)\sum _{s^{\prime },r}p(s^{\prime },r|s,a)r\end{array}\text{\hspace{1em}(9)}$$

对于${\mathbb{E}}_{\pi }[G_{t+1}|S_t=s]$，有
$${\mathbb{E}}_{\pi }[G_{t+1}|S_t=s]=\sum _{g}gp(g|s)\text{\hspace{1em}(10)}$$

这里将$G_{t+1}$视为随机变量，同时，考虑到
$$v_{\pi }(s^{\prime })={\mathbb{E}}_{\pi }[G_{t+1}|S_{t+1}=s^{\prime }]=\sum _{g}gp(g|s^{\prime })\text{ is a function of }{s}^{\prime }\text{\hspace{1em}(11)}$$
由于
$$\begin{array}{rl}{\mathbb{E}}_{\pi }(v_{\pi }(s^{\prime })|s)& ={\mathbb{E}}_{\pi }[{\mathbb{E}}_{\pi }[G_{t+1}|S_{t+1}=s^{\prime }]|S_t=s]\\ & =\sum _{s^{\prime }}\left(\sum _{g}gp(g|s^{\prime })\right)p(s^{\prime }|s)\\ & =\sum _{s^{\prime }}\sum _{g}gp(g|s^{\prime })p(s^{\prime }|s)\\ & =\sum _{s^{\prime }}\sum _{g}gp(g,s^{\prime }|s)\\ & =\sum _{g}g\sum _{s^{\prime }}p(g,s^{\prime }|s)\\ & =\sum _{g}gp(g|s)\\ & ={\mathbb{E}}_{\pi }[G_{t+1}|S_t=s]\end{array}\text{\hspace{1em}(12)}$$

另一方面，有
$$\begin{array}{rl}{\mathbb{E}}_{\pi }(v_{\pi }(s^{\prime })|s)& =\sum _{s^{\prime }}{v}_{\pi }(s^{\prime })p(s^{\prime }|s)\\ & =\sum _{s^{\prime }}{v}_{\pi }(s^{\prime })\sum _{a}p(s^{\prime }|s,a)\pi (a|s)\\ & =\sum _{s^{\prime }}{v}_{\pi }(s^{\prime })\sum _a\sum _{r}p(s^{\prime },r|s,a)\pi (a|s)\\ & =\sum _a\pi (a|s)\sum _{s^{\prime },r}p(s^{\prime },r|s,a)v_{\pi }(s^{\prime })\end{array}\text{\hspace{1em}(13)}$$

结合式(12)和(13)可知
$${\mathbb{E}}_{\pi }[G_{t+1}|S_t=s]=\sum _a\pi (a|s)\sum _{s^{\prime },r}p(s^{\prime },r|s,a)v_{\pi }(s^{\prime })\text{\hspace{1em}(14)}$$

进一步结合式(8)、(9)和(14)可得
$$v_{\pi }(s)=\sum _a\pi (a|s)\sum _{s^{\prime },r}p(s^{\prime },r|s,a)[r+\gamma v_{\pi }(s^{\prime })]\text{\hspace{1em}(15)}$$
式(15)即为所谓关于状态值函数的Bellman方程。

类似地，可以推导动作值函数的Bellman方程，具体地，有
$$\begin{array}{rl}{q}_{\pi }(s,a)& ={\mathbb{E}}_{\pi }[G_t|S_t=s,A_t=a]\\ & ={\mathbb{E}}_{\pi }[R_{t+1}+\gamma G_{t+1}|S_t=s,A_t=a]\\ & ={\mathbb{E}}_{\pi }[R_{t+1}|S_t=s,A_t=a]+\gamma {\mathbb{E}}_{\pi }[G_{t+1}|S_t=s,A_t=a]\end{array}\text{\hspace{1em}(16)}$$

对于${\mathbb{E}}_{\pi }[R_{t+1}|S_t=s,A_t=a]$，有
$${\mathbb{E}}_{\pi }[R_{t+1}|S_t=s,A_t=a]=\sum _{r}rp(r|s,a)=\sum _{s^{\prime },r}rp(s^{\prime },r|s,a)\text{\hspace{1em}(17)}$$

对于${\mathbb{E}}_{\pi }[G_{t+1}|S_t=s,A_t=a]$，有
$${\mathbb{E}}_{\pi }[G_{t+1}|S_t=s,A_t=a]=\sum _{g}gp(g|s,a)\text{\hspace{1em}(18)}$$

考虑到
$$q_{\pi }(s^{\prime },a^{\prime })={\mathbb{E}}_{\pi }[G_{t+1}|S_{t+1}=s^{\prime },A_{t+1}=a^{\prime }]\text{\hspace{1em}(19)}$$

由于
$$\begin{array}{rl}{\mathbb{E}}_{\pi }[q_{\pi }(s^{\prime },a^{\prime })|s,a]& ={\mathbb{E}}_{\pi }[{\mathbb{E}}_{\pi }[G_{t+1}|S_{t+1}=s^{\prime },A_{t+1}=a^{\prime }]|s,a]\\ & =\sum _{s^{\prime },a^{\prime }}\sum _{g}gp(g|s^{\prime },a^{\prime })p(s^{\prime },a^{\prime }|s,a)\\ & =\sum _{s^{\prime },a^{\prime }}\sum _{g}gp(g,s^{\prime },a^{\prime }|s,a)\\ & =\sum _{g}gp(g|s,a)\\ & ={\mathbb{E}}_{\pi }[G_{t+1}|S_t=s,A_t=a]\end{array}\text{\hspace{1em}(20)}$$

另一方面，有
$$\begin{array}{rl}{\mathbb{E}}_{\pi }[q_{\pi }(s^{\prime },a^{\prime })|s,a]& =\sum _{s^{\prime },a^{\prime }}{q}_{\pi }(s^{\prime },a^{\prime })p(s^{\prime },a^{\prime }|s,a)\\ & =\sum _{s^{\prime },a^{\prime }}{q}_{\pi }(s^{\prime },a^{\prime })\sum _{r}p(s^{\prime },r|s,a)\pi (a^{\prime }|s^{\prime })\\ & =\sum _{s^{\prime },r}p(s^{\prime },r|s,a)\sum _{a^{\prime }}\pi (a^{\prime }|s^{\prime })q_{\pi }(s^{\prime },a^{\prime })\end{array}\text{\hspace{1em}(21)}$$

结合式(20)和(21)可知
$${\mathbb{E}}_{\pi }[G_{t+1}|S_t=s,A_t=a]=\sum _{s^{\prime },r}p(s^{\prime },r|s,a)\sum _{a^{\prime }}\pi (a^{\prime }|s^{\prime })q_{\pi }(s^{\prime },a^{\prime })\text{\hspace{1em}(22)}$$

进一步结合式(16)、(17)和(22)可得
$$q_{\pi }(s,a)=\sum _{s^{\prime },r}p(s^{\prime },r|s,a)[r+\gamma \sum _{a^{\prime }}\pi (a^{\prime }|s^{\prime })q_{\pi }(s^{\prime },a^{\prime })]\text{\hspace{1em}(23)}$$

式(23)即为所谓关于动作值函数的Bellman方程。

我们进一步考察状态值函数$v_{\pi }(s)$和动作值函数$q_{\pi }(s,a)$之间的关系，把$G_t$视为随机变量，则根据定义有
$$\begin{array}{rl}{v}_{\pi }(s)& ={\mathbb{E}}_{\pi }[G_t|S_t=s]\\ & =\sum _{g}gp(g|s)\\ & =\sum _{g}g\sum _{a}p(g|s,a)\pi (a|s)\\ & =\sum _a\pi (a|s)\sum _{g}gp(g|s,a)\end{array}\text{\hspace{1em}(24)}$$

$$q_{\pi }(s,a)={\mathbb{E}}_{\pi }[G_t|S_t=s,A_t=a]=\sum _{g}gp(g|s,a)\text{\hspace{1em}(25)}$$

结合式(24)和(25)可知
$$v_{\pi }(s)=\sum _a\pi (a|s)q_{\pi }(s,a)\text{\hspace{1em}(26)}$$

结合式(23)和(26)可知
$$q_{\pi }(s,a)=\sum _{s^{\prime },r}p(s^{\prime },r|s,a)[r+\gamma v_{\pi }(s^{\prime })]\text{\hspace{1em}(27)}$$

3.关于最优状态值函数和最优动作值函数

在所有的状态值函数和动作值函数中，强化学习比较关心最优的状态值函数和动作值函数。已知最优状态值函数定义为$v_{\ast }(s)\doteq \underset{\pi }{\max }{v}_{\pi }(s)$，最优动作值函数定义为$q_{\ast }(s,a)\doteq \underset{\pi }{\max }{q}_{\pi }(s,a)$，根据式(26)有

$$\begin{array}{rl}{v}_{\ast }(s)& =\underset{\pi }{\max }{v}_{\pi }(s)\\ & =\underset{\pi }{\max }\sum _a\pi (a|s)q_{\pi }(s,a)\end{array}\text{\hspace{1em}(28)}$$

考虑到$\sum _a\pi (a|s)=1$，若已知$q_{\ast }(s,a)$，只需让使得$q_{\ast }(s,a)$最大的动作概率设为1即可得到$v_{\ast }(s)$，因此有
$$v_{\ast }(s)=\underset{a}{\max }{q}_{\ast }(s,a)\text{\hspace{1em}(29)}$$

进一步，根据式(27)可得
$$\begin{array}{rl}{q}_{\ast }(s,a)& =\underset{\pi }{\max }{q}_{\pi }(s,a)\\ & =\underset{\pi }{\max }\sum _{s^{\prime },r}p(s^{\prime },r|s,a)[r+\gamma v_{\pi }(s^{\prime })]\\ & =\sum _{s^{\prime },r}p(s^{\prime },r|s,a)[r+\gamma \underset{\pi }{\max }{v}_{\pi }(s^{\prime })]\\ & =\sum _{s^{\prime },r}p(s^{\prime },r|s,a)[r+\gamma v_{\ast }(s^{\prime })]\end{array}\text{\hspace{1em}(30)}$$

结合式(29)和(30)可得
$$v_{\ast }(s)=\underset{a}{\max }\sum _{s^{\prime },r}p(s^{\prime },r|s,a)[r+\gamma v_{\ast }(s^{\prime })]\text{\hspace{1em}(31)}$$

$$q_{\ast }(s,a)=\sum _{s^{\prime },r}p(s^{\prime },r|s,a)[r+\gamma \underset{a^{\prime }}{\max }{q}_{\ast }(s^{\prime },a^{\prime })]\text{\hspace{1em}(32)}$$

式(31)和(32)即分别为最优状态值函数和动作值函数的Bellman方程，也称Bellman最优方程，是强化学习算法设计的基础。

参考文献

[1]陈家鼎, 郑忠国. 概率与统计[M]. 北京大学出版社, 2007.

[2]Sutton, Richard S., Andrew G. Barto. Reinforcement learning: An introduction (2nd edition). MIT press, 2018.