（《机器学习》完整版系列）第16章 强化学习——16.9 时序差分学习（Sara算法与Q-学习算法）

提示：
前述蒙特卡罗试验并没有限定轨线长度，现在把焦点放在最短轨线上：新增一步蒙特卡罗试验产生的长度为1的轨线。
由于取长度为1的蒙特卡罗试验轨线（单步），即可更新一次，不再需要计数变量

时序差分学习

对于均值【西瓜书式(16.1)】型，利用递推式【西瓜书式(16.2)】技巧可以高效地增量式地计算，体现在【西瓜书图16.4第11句、图16.5第7句、图16.10第6句、图16.11第7句】中，也可以利用递推式【西瓜书式(16.3)】计算，将其重写为下标为变量的形式
$$\begin{array}{r}{Q}_{t+1}=Q_t+\frac{1}{t+1}(v_{t+1}-Q_t)\end{array}\text{\hspace{1em}(16.68)}$$
其中，$t=0,1,2,\cdots ,n-1$，应用时需初始化$Q_0$。

现在，为求近似而简化式(16.68)：以小常数$\alpha$代替变数$\frac{1}{t+1}$，得
$$\begin{array}{r}{Q}_{t+1}=Q_t+\alpha (v_{t+1}-Q_t)\\ Q_{t+1}=(1-\alpha )Q_t+\alpha v_{t+1}\end{array}\text{\hspace{1em}(16.69)(16.70)}$$

式(16.70)是差分形式，虽然是近似，但放到递推式中是合理的，因为，递推式本来就是通过近似式逐步逼近真值，而且往往不是一定找到真值，而是在指定的时间内找到可接受的值。
注：数列：$a_1,a_2,\cdots ,a_n,\cdots$，其一阶差分为：$a_2-a_1,a_3-a_2,\cdots ,a_n-a_{n-1},\dots$，一阶广义差分为：$a_2-d{a}_1,a_3-d{a}_2,\cdots ,a_n-d{a}_{n-1},\dots$，故数列 { Q t + 1 − ( 1 − α ) Q t } t \{Q_{t+1}-(1-\alpha)Q_t\}_t {Qt+1​−(1−α)Qt​}t​为数列 { Q t } t \{Q_t\}_t {Qt​}t​的广义差分。

我们先做些准备。

（1）将【西瓜书式(16.1)】的一次求和，变为【西瓜书式(16.3)】的增量求和，下面我们将这种方法推广到更一般的情况。
$$\begin{array}{rl}{Q}_n& =\sum _{i=1}^n{P}_i{v}_i\\ & =P_n{v}_n+\sum _{i=1}^{n-1}{P}_i{v}_i\\ & =P_n{v}_n+(\sum _{i=1}^{n-1}{P}_i)\sum _{i=1}^{n-1}\frac{P_i}{{\sum }_{i=1}^{n-1}{P}_i}{v}_i\\ & =P_n{v}_n+(1-P_n)\sum _{i=1}^{n-1}{P}_i^{\prime }{v}_i\\ & =P_n{v}_n+(1-P_n)Q_{n-1}\\ & =Q_{n-1}+P_n(v_n-Q_{n-1})\end{array}\text{\hspace{1em}(16.71)(16.72)}$$
其中，${\sum }_{i=1}^n{P}_i=1,{\sum }_{i=1}^{n-1}{P}_i^{\prime }=1,p_i^{\prime }=\frac{P_i}{{\sum }_{i=1}^{n-1}{P}_i}$。

将式(16.72)中下标改为变量$t$，让其从1到$n$，由则该式可递推地计算出$Q_n$，但每次计算使用了不同的$P_t$，现在，为简化以常数$\alpha <1$代替变数$P_t$，则同样有式(16.69)的递推式，即由式(16.71)可得式(16.69)。

式(16.71)中的$i$是基于“类别”的（指求和中每一项是一类，该类的概率为$P_i$），导致此时式(16.69)中的$t$也是基于“类别”的。 然而，采样（蒙特卡罗试验）每次得到的是一个“样本”，所以，我们希望增量是以“样本”为单位而不是以“类别”为单位。 回顾2.2 如何选个好模型？ ，类似于其中的式(2.ab)，我们将$Q$表述为
$$\begin{array}{r}\sum _{i=1}^n{P}_i{v}_i=\frac{1}{m}\sum _{i=1}^m{v}_i^{\prime }\end{array}\text{\hspace{1em}(16.73)}$$
其中，右侧为进行了$m$次采样，得到的样本（值）依次为：$v_1^{\prime },v_2^{\prime },\cdots ,v_m^{\prime }$。 注意左右边的区别：左边的$v_i$无重复，右边的$v^{\prime }$有重复，左边有概率式，右边无概率式，其实右边是通过“重复”来体现概率（概率大的取到的样本多）。

记
$$\begin{array}{r}{Q}_m^{\prime }=\frac{1}{m}\sum _{i=1}^m{v}_i^{\prime }\end{array}\text{\hspace{1em}(16.74)}$$
这即为【西瓜书 (16.1)】型，式(16.69)变为
$$\begin{array}{r}Q=\sum _{i=1}^n{P}_i{v}_i\Rightarrow Q_{t+1}^{\prime }=Q_t^{\prime }+\alpha (v_{t+1}-Q_t^{\prime })\end{array}\text{\hspace{1em}(16.75)}$$
即对式(16.71)有基于每次采样的增量递推式(16.75)，每采到一个样本$v_{t+1}$用一次该式更新。

（2）均匀分布与$ϵ$-贪心策略
$$\begin{array}{r}\mathbb{E}v\approx \sum _{i=1}^n{P}_i{v}_i\end{array}\text{\hspace{1em}(16.76)}$$
其中，${\sum }_{i=1}^n{P}_i=1$。

当概率为均匀分布且$P^{\prime }$为其概率时
$$\begin{array}{rl}\sum _{i=1}^n{P}_i{v}_i& =\sum _{i=1}^n{P}^{\prime }{v}_i\\ & =P^{\prime }\sum _{i=1}^n{v}_i\end{array}\text{\hspace{1em}(16.77)}$$

受此启发，考察 { P i } i = 1 n \{P_i\}_{i=1}^n {Pi​}i=1n​为某确定性策略的$ϵ$-贪心策略式(16.65)，不妨设确定性策略为$\pi =(1,0,0,\cdots ,0)$，则其$ϵ$-贪心策略为${\pi }^{ϵ}=(P_1,\frac{ϵ}{|A|},\frac{ϵ}{|A|},\cdots ,\frac{ϵ}{|A|})$，它是一个很有特点的分布：只有一个点（为简便假设为第$1$个点）概率很大（$P_1=1-ϵ+\frac{ϵ}{|A|}>1-ϵ\approx 1$），其余点的概率很小且是均匀分布的（$P_i=\frac{ϵ}{|A|},i=2,3,\cdots ,n$），
$$\begin{array}{rl}\sum _{i=1}^n{P}_i{v}_i& =P_1{v}_1+\sum _{i=2}^n{P}_2{v}_i\\ & =P_1{v}_1+\frac{ϵ}{|A|}\sum _{i=2}^n{v}_i\\ & \approx P_1{v}_1\\ & \approx v_1\end{array}\text{\hspace{1em}(16.78)(16.79)(16.80)}$$
其中，$v_1$为概率最大处的$v$值，式(16.78)、式(16.79)、式(16.80)为逐步不精确，供因需选择。

而确定性策略$\pi =(1,0,0,\cdots ,0)$有
$$\begin{array}{rl}\sum _{i=1}^n{P}_i{v}_i& =1\times v_1+\sum _{i=2}^{n}0\times v_i\\ & =v_1\end{array}\text{\hspace{1em}(16.81)}$$
由式(16.80)、式(16.81)知，计算${\sum }_{i=1}^n{P}_i{v}_i$时，在近似意义下，计算期望时，用确定性策略与用该确定性策略的$ϵ$-贪心策略几乎是等效的（1、这种等效是概率意义下的等效，即做一次蒙特卡罗试验，很大概率二者相等；2、在实践中，我们在寻找最优策略时通常是这样使用该等效性：在公式推导时使用确定性策略$\pi$，在算法中的蒙特卡罗试验时采用对应的$ϵ$-贪心策略${\pi }^{ϵ}$），即
$$\begin{array}{r}\text{π为确定性策略}\Rightarrow {\mathbb{E}}_{{\pi }^{ϵ}}v(x,a)={\mathbb{E}}_{\pi }v(x,a)=v(x,a^{\prime })\end{array}\text{\hspace{1em}(16.82)}$$

有了上述准备，现在考虑“$\gamma$型”累积奖赏的递推式。

考察一步蒙特卡罗试验，将16.3 有模型迭代式的详细推导图 16.6 变为图 16.12 ，该蒙特卡罗试验得到长度为1的轨线：起点为$(x,a)$，由概率$P_{x\to x_{t+1}}^a$获得$x_{t+1}$，再由确定性策略$\pi$获得$a_{t+1}$。

图 16.12 单步轨线

$$\begin{array}{rl}{Q}^{\pi }(x,a)& =\sum _{x^{\prime }\in X}{P}_{x\to x^{\prime }}^a(R_{x\to x^{\prime }}^a+\gamma V^{\pi }(x^{\prime }))\text{（由【西瓜书式(16.10)】）}\\ & =\sum _{x^{\prime }\in X}{P}_{x\to x^{\prime }}^a(R_{x\to x^{\prime }}^a+\gamma \sum _{a\in A}\pi (x^{\prime },a)Q^{\pi }(x^{\prime },a))\text{（由式(16.17)）}\\ & =\sum _{x^{\prime }\in X}{P}_{x\to x^{\prime }}^a(R_{x\to x^{\prime }}^a+\gamma Q^{\pi }(x^{\prime },a^{\prime }))\end{array}\text{\hspace{1em}(16.83)}$$
其中，$\pi$为确定性策略式(16.63)，$a^{\prime }$为$\pi$在点$x^{\prime }$处选取的动作。

设状态有限，对状态进行编号，即 X = { x 1 , x 2 , ⋯   , x n } X=\{x_1,x_2,\cdots,x_n\} X={x1​,x2​,⋯,xn​}，则式(16.83)可改写为
$$\begin{array}{rl}{Q}^{\pi }(x,a)& =\sum _{i=1}^n{P}_{x\to x_i}^a(R_{x\to x_i}^a+\gamma Q^{\pi }(x_i,a_i))\end{array}\text{\hspace{1em}(16.84)}$$
其中，$x,a,\pi$为常量（在本式计算时），$a_i$为确定性策略$\pi$在点$x_i$处选取的动作。

令$P_i=P_{x\to x_i}^a,v_i=(R_{x\to x_i}^a+\gamma Q^{\pi }(x_i,a_i))$，则式(16.84)即为式(16.71)，这时，对应的式(16.75)变为
$$\begin{array}{r}{Q}_{t+1}^{\pi }(x,a)=Q_t^{\pi }(x,a)+\alpha (R_{x\to x_{t+1}}^a+\gamma Q^{\pi }(x_{t+1},a_{t+1})-Q_t^{\pi }(x,a))\end{array}\text{\hspace{1em}(16.85)}$$
式(16.85)为已知$Q^{\pi }(x_{t+1},a_{t+1})$时的递推式，当然，这个要求不合理，故需再近似一下，即以其当前值$Q_t^{\pi }(x_{t+1},a_{t+1})$作为替代，进而得递推式(16.86)。
将式(16.85)右侧的$Q$修改为$Q_t$，$x\to x_{t+1}$修改为$x\to x^{\prime }$，则成为递推式：
$$\begin{array}{r}{Q}_{t+1}^{\pi }(x,a)=Q_t^{\pi }(x,a)+\alpha (R_{x\to x^{\prime }}^a+\gamma Q_t^{\pi }(x^{\prime },a^{\prime })-Q_t^{\pi }(x,a))\end{array}\text{\hspace{1em}(16.86)}$$
其中，$((x,a)\to (x^{\prime },a^{\prime }))$为新增的一步蒙特卡罗试验产生的长度为1的轨线（参见图 16.12 中的描述），$Q_t^{\pi }$为$Q^{\pi }$的当前值，$Q_{t+1}^{\pi }$为增加一条新轨线后的更新值。 递推式产生的值序列 { Q t π } t = 1 m \{Q^{\pi}_t\}_{t=1}^m {Qtπ​}t=1m​逐步逼近$Q^{\pi }$，只要该蒙特卡罗试验的次数$m$足够多，则$Q^{\pi }\approx Q_m^{\pi }$。 这即为【西瓜书式(16.31)】。

根据式(16.86)【西瓜书式(16.31)】就可以改造前述蒙特卡罗强化学习算法，观察式(16.86)，执行步只有一步（$x\to x^{\prime }$），即，取长度为1的蒙特卡罗试验轨线（单步），即可更新一次，不再需要计数变量$\mathrm{count}(k)$。
注：若将一步的两个阶段视为两个半步，则这里的单步轨线实际是考虑一步半（从$x$到$a^{\prime }$的三个半步），第三个半步会被下个单步覆盖（Sara算法中）或丢弃（Q-学习算法中）。

而转移概率$P$和决策概率$\pi$在试验时用于采样，在递推式中并不显式地体现，这样就大为简化了算法。 基于式(16.82)描述的等效性，可采用确定性策略$\pi$或确定性策略$\pi$的$ϵ$-贪心策略${\pi }^{ϵ}$进行采样。
注：用${\pi }^{ϵ}$的好处是增加了随机性，“合理地增加随机性”是机器学习中常用的技巧。

（1）设轨线为
$$\left[x\underset{{\pi }^{ϵ}}{⟶}a\underset{P_{x\to x^{\prime }}^a}{⟶}{x}^{\prime }\underset{{\pi }^{ϵ}}{⟶}{a}^{\prime }\right]$$
即为Sara算法【西瓜书图16.12】：

1.初始化： { Q ( x , a ) = 0 } X × A \{Q(x,a)=0\}_{X\times A} {Q(x,a)=0}X×A​及确定开始的“前半步”$(x\to a)$，第1-2句。

2.从点$(x,a)$依概率$P_{x\to x^{\prime }}^a$采样产生点$(x^{\prime })$，第4句，其中，先前已执行$a={\pi }^{ϵ}(x)$从点$(x)$到点$(x,a)$（由上一轮循环的第5和第8句间接地知道）。

3.取$a^{\prime }={\pi }^{ϵ}(x^{\prime })$而获得终点$(x^{\prime },a^{\prime })$，第5句。

4.将点$(x,a)$和点$(x^{\prime },a^{\prime })$中已有的$Q$值视为迭代步$t$时的值，即已知$Q_t(x,a),Q_t(x^{\prime },a^{\prime })$。

进行策略评估更新：由式(16.86)【西瓜书式(16.31)】求$Q_{t+1}(x,a)$，即更新$Q(x,a)$，第6句。

5.改进策略：$\pi (x)=\underset{a^{\prime \prime }\in A}{\mathrm{argmax}}Q(x,a^{\prime \prime })$，第7句。

6.前进：更新“前半步”$(x\to a)$，即$x:=x^{\prime },a:=a^{\prime }$（覆盖已有的$x^{\prime }\to a^{\prime }$），第8句。

7.回到2.继续循环（第3-9句），直至结束条件满足。

其中，第8句是希望这些单步能连接起来形成轨线，有的还在外面再套一层循环以示多条轨线。 其实，没有这个必要，可以改为随机选择起点。

（2）设轨线为
$$\left[x\underset{{\pi }^{ϵ}}{⟶}a\underset{P_{x\to x^{\prime }}^a}{⟶}{x}^{\prime }\underset{\pi }{⟶}{a}^{\prime }\right]$$
即为Q-学习算法【西瓜书图16.13】：

1.初始化： { Q ( x , a ) = 0 } X × A \{Q(x,a)=0\}_{X\times A} {Q(x,a)=0}X×A​及确定起点$x$，第1-2句。

2.在起点$x$处执行$a={\pi }^{ϵ}(x)$，再依概率$P_{x\to x^{\prime }}^a$采样产生点$(x^{\prime })$，第4句。

3.取$a^{\prime }=\pi (x^{\prime })$而获得终点$(x^{\prime },a^{\prime })$，第5句。

4.将点$(x,a)$和点$(x^{\prime },a^{\prime })$中已有的$Q$值视为迭代步$t$时的值，即已知$Q_t(x,a),Q_t(x^{\prime },a^{\prime })$。

进行策略评估更新：由式(16.86)【西瓜书式(16.31)】求$Q_{t+1}(x,a)$，即更新$Q(x,a)$，第6句。

5.改进策略：$\pi (x)=\underset{a^{\prime \prime }\in A}{\mathrm{argmax}}Q(x,a^{\prime \prime })$，第7句。

6.更新起点为$x^{\prime }$，即$x:=x^{\prime }$（丢弃已有的$x^{\prime }\to a^{\prime }$），第8句。

7.回到2.继续循环（第3-9句），直至结束条件满足。

观察两算法的轨线中的策略，Sara算法中采样时涉及一个策略：$a^{\prime }={\pi }^{ϵ}(x^{\prime })$（本轮循环中的采样）和$a=a^{\prime }$（使用上一轮的采样），故为同策略算法；
Q-学习算法中涉及两个策略：$a={\pi }^{ϵ}(x)$和$a^{\prime }=\pi (x^{\prime })$，故为异策略算法。

本文为原创，您可以：

• 点赞（支持博主）
• 收藏（待以后看）
• 转发（他考研或学习，正需要）
• 评论（或讨论）
• 引用（支持原创）
• 不侵权

上一篇：16.8 异策略蒙特卡罗强化学习算法（换分布）
下一篇：16.10 值函数近似