强化学习导论 | 第10章 On-policyControl with Approximation

上一章讲了on-policy策略下，怎样估计状态价值函数，也就是“预测”任务。对应的还有一个“控制”任务，就是要找到最优策略。并且，在控制任务中，我们现在要估计的是动作价值函数，即$\hat{q}(s,a,\mathbf{w})\approx q_{\ast }(s,a)$，其中$\mathbf{w}\in {\mathbb{R}}^d$是一个 $d$ 维的权重向量。

这一章主要介绍半梯度Sarsa算法。对应于episodic case还有continuing case分别介绍怎样估计动作价值函数。

1. Episodic Semi-gradient Control

上一章中讲到的半梯度预测方法可以很容易的扩展到半梯度控制问题。预测方法中，我们希望状态$S_t$的价值趋近于$U_t$。那么在控制方法中，我们求的是动作价值函数，所以我们希望$S_t,A_t\to U_t$。$U_t$是我们想要趋近的目标价值。

在估计动作价值时，通过梯度下降来更新参数的一般形式是：
$${\mathbf{w}}_{t+1}\doteq {\mathbf{w}}_t+\alpha [U_t-\hat{q}(S_t,S_t,{\mathbf{w}}_t)]▽\hat{q}(S_t,A_t,{\mathbf{w}}_t)$$

比如，1-步Sarsa中，参数的更新形式为：
$${\mathbf{w}}_{t+1}\doteq {\mathbf{w}}_t+\alpha [R_{t+1}+\gamma \hat{q}(S_{t+1},A_{t+1},{\mathbf{w}}_t)-\hat{q}(S_t,S_t,{\mathbf{w}}_t)]▽\hat{q}(S_t,A_t,{\mathbf{w}}_t)$$

可以看出，只要将$U_t$替换为$R_{t+1}+\gamma \hat{q}(S_{t+1},A_{t+1},{\mathbf{w}}_t)$就可以适用于1-步Sarsa的情况。这种方法叫做episodic semi-gradient one-step Sarsa。

在估计的动作价值收敛之后，我们就可以通过下式直接得到最优策略。
$$A_t^{\ast }=\underset{a}{\mathrm{argmax}}\hat{q}(S_t,a,{\mathbf{w}}_{t-1})$$

完整的算法由下面的伪代码给出：

【疑问：关于Mountain Car Task的例子，里面的图我没看懂】

2. Semi-gradient n-step Sarsa

上一节讲的是1-步Sarsa的动作价值估计和确定最优策略的方法。对于n-步Sarsa，也是类似的方式，只是奖励的计算方法不同而已。

n-步Sarsa的目标奖励为：
$$G_{t:t+n}\doteq R_{t+1}+\gamma R_{t+2}+\cdots +{\gamma }^{n-1}{R}_{t+n}+{\gamma }^n\hat{q}(S_{t+n},A_{t+n},{\mathbf{w}}_{t+n-1}),t+n<T$$

参数更新方式为：
$${\mathbf{w}}_{t+n}\doteq {\mathbf{w}}_{t+n-1}+\alpha [G_{t:t+n}-\hat{q}(S_t,A_t,{\mathbf{w}}_{t+n-1})]▽\hat{q}(S_t,A_t,{\mathbf{w}}_{t+n-1}),0\le t\le T$$

完整的算法由下面的伪代码给出：

3. Average Reward: A New Problem Setting for Continuing Tasks

在continuing任务中，采样得到的序列没有一个终止状态。所以，前面几章在计算continuing任务的奖励时，使用到了折扣因子，即认为越后面的奖励对于当前状态价值的影响越小。但本节要讲的平均奖励（average reward）就是要抛掉折扣因子的设定。将即时奖励和后面的所有奖励看得一样重要。

平均奖励指的就是策略$\pi$下的奖励的均值。表示为：
$$\begin{array}{rl}r(\pi )& \doteq \underset{h\to \infty }{\lim }\frac{1}{h}\sum _{t=1}^h\mathbb{E}[R_t|S_0,A_{0:t-1}\sim \pi ]\\ & =\underset{t\to \infty }{\lim }\mathbb{E}[R_t|S_0,A_{0:t-1}\sim \pi ]\\ & =\sum _s{\mu }_{\pi }(s)\sum _a\pi (a|s)\sum _{s^{\prime },r}p(s^{\prime },r|s,a)r\end{array}$$

其中${\mu }_{\pi }(s)\doteq {\lim }_{t\to \infty }Pr(S_t=s|A_{0:t-1}\sim \pi )$，表示状态的稳态分布。如果根据稳态分布执行某个动作，所进入到的新状态仍为同一分布，即：

$$\sum _s{\mu }_{\pi }(s)\sum _a\pi (a|s)p(s^{\prime }|s,a)={\mu }_{\pi }(s^{\prime })$$

假设稳态分布存在，并且与初始状态无关。这种性质叫做ergodicity。这就意味着无论初始状态是什么，或者先前做的动作是什么，都只会产生一个临时的影响。最终处于一个状态的概率只取决于策略和转移概率。我们要找的最优策略应该使得$r(\pi )$最大。

在平均奖励的设定下，我们可以定义一种新的计算方式，也就是即时奖励和平均奖励的差值的和：

$$G_t\doteq R_{t+1}-r(\pi )+R_{t+2}-r(\pi )+R_{t+3}-r(\pi )+\cdots$$

这里的$G_t$叫做differential奖励(看到有资料翻译为微分)，对应的值函数叫做differential值函数，其表示形式为：$v_{\pi }(s)\doteq {\mathbb{E}}_{\pi }(G_t|S_t=s)$，$q_{\pi }(s,a)\doteq {\mathbb{E}}_{\pi }[G_t|S_t=s,A_t=a]$。differential值函数也有对应的贝尔曼方程以及贝尔曼最优方程，表示为：

$$v_{\pi }(s)=\sum _a\pi (a|s)\sum _{r,s^{\prime }}p(s^{\prime },r|s,a)[r-r(\pi )+v_{\pi }(s^{\prime })]$$

$$q_{\pi }(s,a)=\sum _{r,s^{\prime }}p(s^{\prime },r|s,a)[r-r(\pi )+\sum _{a^{\prime }}\pi (a^{\prime }|s^{\prime })q_{\pi }(s^{\prime },a^{\prime })]$$

$$v_{\ast }(s)=\underset{a}{\max }\sum _{r,s^{\prime }}p(s^{\prime },r|s,a)[r-\underset{\pi }{\max }r(\pi )+v_{\ast }(s^{\prime })]$$

$$q_{\ast }(s,a)=\sum _{r,s^{\prime }}p(s^{\prime },r|s,a)[r-\underset{\pi }{\max }r(\pi )+\underset{a^{\prime }}{\max }{q}_{\ast }(s^{\prime },a^{\prime })]$$

TD误差的differential形式，对应于状态价值函数和动作价值函数，可以表示为：
$${\delta }_t\doteq R_{t+1}-{\bar{R}}_t+\hat{v}(S_{t+1},{\mathbf{w}}_t)-\hat{v}(S_t,{\mathbf{w}}_t)$$

$${\delta }_t\doteq R_{t+1}-{\bar{R}}_t+\hat{q}(S_{t+1},A_{t+1},{\mathbf{w}}_t)-\hat{q}(S_t,A_t,{\mathbf{w}}_t)$$

所以，在利用梯度下降更新参数$\mathbf{w}$的时候，就可以利用下面的公式：

$${\mathbf{w}}_{t+1}\doteq {\mathbf{w}}_t+\alpha {\delta }_t▽\hat{q}(S_t,A_t,{\mathbf{w}}_t)$$

即直接将更新误差替换为${\delta }_t$。完整的算法由下面的伪代码给出：

4. Deprecating the Discounted Setting

上一节在计算平均奖励的时候，没有用到折扣因子，而是将所有奖励求和取平均。这样做是合理的吗？这一节就将给出合理性证明。

策略$\pi$的平均奖励记做$r(\pi )$，设带折扣的策略估值为$J(\pi )$。在做“控制”任务时，我们要做的是找到最优策略，也就是能使得$J(\pi )$最大的策略。经过证明，$J(\pi )=r(\pi )/(1-\gamma )$，所以最大化$r(\pi )$就相当于最大化$J(\pi )$，那么加入折扣因子也就是没有什么用处的了。

具体的证明如下：

5. Differential Semi-gradient n-step Sarsa

有了1-步Sarsa的differential半梯度形式，很自然的想到怎样扩展到n-步Sarsa上去呢？其实n-步Sarsa和1-步Sarsa的区别仅在于累积奖励的计算方式。n-步Sarsa的differential奖励计算为：
$$G_{t:t+n}\doteq R_{t+1}-{\bar{R}}_{t+n-1}+\cdots +R_{t+n}-{\bar{R}}_{t+n-1}+\hat{q}(S_{t+n},A_{t+n},{\mathbf{w}}_{t+n-1})$$

其中$\bar{R}$是关于$r(\pi )$的估计。那么n-步TD误差就表示为：
$${\delta }_t\doteq G_{t:t+n}-\hat{q}(S_t,A_t,\mathbf{w})$$

这样我们就可以利用之前的半梯度Sarsa来更新参数了，完整算法参见伪代码：

总结

这一章主要讲了半梯度Sarsa的控制问题，即估计动作价值函数，目标是找到最优策略。内容围绕两个维度展开：

• 1-步Sarsa还是n-步Sarsa？
• 包含discounting 还是不包含 discounting？

通过以上两个维度，就扩展出了四方面内容，即有折扣的1-步Sarsa和n-步Sarsa控制，无折扣的1-步Sarsa和n-步Sarsa控制。分别对应于第1,2,3,5节的内容。其中第4节给出了无折扣计算平均奖励的合理性。