【强化学习】使用近似方法的on-policy控制

episodic semi-SGD one-step control via Sarsa

近似的动作价值函数$\hat{q}\approx q_{\pi }$，表示为具有权值向量$w$的参数化函数形式。前面的预测问题关注的是形如$S_t\to U_t$的随机训练样本，而对于控制问题，样本的形态会变成$S_t,A_t\to U_t$。更新目标$U_t$可以是$q_{\pi }(S_t,A_t)$的任意近似，包括一些常见的回溯值，如完整的MC回报$G_t$或n-step Sarsa回报。动作价值函数预测的梯度下降更新公式的一般形式是：
$$w_{t+1}=w_t+\alpha [U_t-\hat{q}(S_t,A_t,w_t)]\nabla \hat{q}(S_t,A_t,w_t)$$
作为上面一般形式的其中一个例子，one-step Sarsa方法的更新可以表示为
$$w_{t+1}=w_t+\alpha [R_{t+1}+\gamma \hat{q}(S_{t+1},A_{t+1},w_t)-\hat{q}(S_t,A_t,w_t)]\nabla \hat{q}(S_t,A_t,w_t)$$
这种方法称为episodic semi-gradient one-step Sarsa。
这里之所以选用自举法的TD-Learning而不用MC，原因在于对于趋近于无限长的连续性任务，MC可能连一个episode都执行不完，更别说大量的更新了。
为了得到控制方法，需要将这种动作价值函数预测与策略改进及动作选择的技术结合起来。如果动作集合是离散的并且不是太大（如果是连续的，或者是离散太大，则效果不好），对于当前状态$S_t$中的每个可能的动作$a$，可以计算$\hat{q}(S_t,a,w_t)$，然后贪心（$ϵ$-贪心策略）地选择动作$A_t^{\ast }=argma{x}_a\hat{q}(S_t,a,w_t)$。

Mountain Car Task（高山行车问题）
**任务描述：**让一个动力不足的小车越国山顶，但是由于动力不足，小车需要先想做开，积累势能之后加上现有的动力才能越过右边山顶。小车到达goal则episode结束，超过左边边界的话就重置task。

**目标点：**小车到达goal则episode结束，超过左边的边界则重置task。
**状态空间：**二维连续空间。$-1.2\le x_{t+1}\le 0.5$，$-0.07\le v_{t+1}\le 0.07$，位置和速度。
动作空间：$+1,-1,0$。分别表示全油门前进，全油门后退，零油门。
**模型：**状态转移方程：
$$\{\begin{array}{l}{x}_{t+1}=bound[x_t+v_{t+1}]\\ v_{t+1}=bound[v_{t+1}+0.001A_t-0.0025cos(3x_t)]\end{array}$$
bound操作是为了限制$-1.2\le x_{t+1}\le 0.5$以及$-0.07\le v_{t+1}\le 0.07$。当位置到达左边界时，速度被重置为0。当位置到达右边界时，目标达成且当前episode结束。每一episode从一个随机位置$[-0.6,-0.4]$和$0$速度开始。

如上图所示，为了将这两个连续的状态变量转换成二值化特征，使用网格覆盖方法，这里使用8个tiling，每个tiling中的每个tile覆盖了每个维度边界总距离的$\frac{1}{8}$。并使用了不对称偏移，使用瓦片编码产生的特征向量$x(s,a)$与参数向量的线性组合来逼近状态-动作价值函数。
$$\hat{q}(s,a,w)=w^{T}x(s,a)=\sum _{i=1}^d{w}_i\cdot x_i(s,a)$$
上图显示了通过这种方式的函数逼近来学习解决这个任务（高山行车）会发生什么。从图的中间顶部标为“Step 428”的途中可以看到，尽管此时连一个episode都没有完成，但是车子在山谷里沿着状态空间的弧形轨迹来回摆动。所有经常访问的状态的价值函数都比未试探到的状态低，这是因为实际的收益比预期的要差，这会驱使智能体离开所在的地点，去探索新的状态，直到找到解决方案。
下图显示了高山行车的若干半梯度Sarsa学习曲线，不同的曲线有不同的步长

n-step semi-SGD n-step control via Sarsa

episodic n-step semi-gradient Sarsa使用n-step回报作为$U_t$。
$$G_{t:t+n}=R_{t+1}+\gamma R_{t+2}+...+{\gamma }^{n-1}{R}_{t+n}+{\gamma }^n\hat{q}(S_{t+n},A_{t+n},w_{w+n-1}),t+n<T$$
如果$t+n\ge T$则有$G_{t:t+n}=G_t$。n-step的更新公式为
$$w_{t+n}=w_{t+n-1}+\alpha [G_{t:t+n}-\hat{q}(S_t,A_t,w_{t+n-1})]\nabla \hat{q}(S_t,A_t,w_{t+n-1}),0\le t<T$$

使用中等程度的自举法往往能得到最好的性能，也就是$n$的取值，如下图所示，使用$n=8$相比于$n=1$学习得更快，并获得更好的性能。

上图是one-step semi-gradient Sarsa和n-step semi-gradient Sarsa在高山行车任务中的性能对比。这里使用了较好的步长参数：$n=1,\alpha =\frac{0.5}{8}$以及$n=8,\alpha =\frac{0.3}{8}$

平均收益：持续性任务中新的问题设定

Long Interval

连续性问题有两种，第一种是既有初始状态和终止状态，第二种是没有终止状态的，即智能体需要持续性地与环境进行交互。这种情况下，Episodic方法无法处理，但是可以在这个无终止的状态序列中，设置长时间窗口，抽取子序列(离散化)为一个个episode，只是这些episode的终止状态不再是终止时刻时的状态，而是进行轨迹采样到达的设定最终最终时刻。

Tarbular Tasks背景补充

Episodic Setting
在Tarbular (表格型）Tasks中，由于每个状态清晰可区分，我们可通过Episodic Setting来进行离散汇报的计算，从而可进行策略优劣的排序，在局部状态$s$下回报最高$Q(s,a)$所对应的局部策略是当前最优的。
$$\begin{array}{rl}{G}_t& =R_{t+1}+R_{t+2}+...+R_T\\ & =\sum _{k=t+1}^T{R}_k\\ \text{ with }T& =\text{constant}<\infty ,\gamma =1\end{array}$$

Discounted Setting
在Tarbular/Countinuing Tasks中，对于趋向于无限长的奖赏序列，为保证求累计奖赏时是有限值，并且注重即时奖励，淡化远期奖励。设置折扣因子如下
$$\begin{array}{rl}{G}_t& =R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+...\\ & =\sum _{k=t+1}^T{\gamma }^{k-t-1}{R}_k\text{ with }(T\to \infty ,\gamma <1)\end{array}$$
Approximation问题：相邻状态难以区分，状态未转移但奖励依旧累积
函数逼近使用特征向量$x(s)$来表征状态$s$，在不同粒度的表示下（如Tile Coding），落在同一tile中的不同状态$(s,s^{\prime })$对应的特征向量相同，即$x(s)=x(s^{\prime })=>v(s)=v(s^{\prime })$，这使得函数逼近法比表格法更难区分不同state，这意味着如果我们在状态$s$下执行动作$a$，有可能达到同一特征向量的不同状态$s^{\prime }$，由于期间没有发生实质状态转移，此时不管使用episodic setting（$+R_t$），还是Discounted Setting（$\gamma R_t$），进行参数$w$更新和策略评估都会存在偏差。
解决方法是使用Average-Reward Setting via long interval，想要了解一个人或事，就需要长期接触，因此可通过长时间间隔的平均收益（Average-reward）来进行参数$w$的更新和策略排序。

Average-Reward Setting
Average-Reward Setting的特点如下：
（1）理论上基于长时间间隔平均而得，实际计算是不断更新而成，可动态适应非平稳环境。
（2）不同于Discount，对任意时刻都同等重视，无远近偏好。
（3）基于遍历性（ergodicity）假设。
R-Learning是一种Model-Free的Average-Reward RL方法，比Q-Learning收敛快。策略$\pi$的平均收益$r(\pi )$：表示该策略的优劣，因此有$r({\pi }^{\ast })\ge r(\pi )$，由于策略需要长时间间隔估计才能准确，因此需要求奖赏的期望如下：
$$\begin{array}{rl}r(\pi )& =\underset{h->\infty }{\lim }\frac{1}{h}\sum _{t=1}^h\mathbb{E}[R_t|A_{0:t-1}\sim \pi ]\\ & =\underset{t->\infty }{\lim }\mathbb{E}[R_t|A_{0:t-1}\sim \pi ]\\ & =\sum _s{\mu }_{\pi }(s)\sum _a\pi (a|s)\sum _{s^{\prime },r}p(s^{\prime },r|s,a)r\end{array}$$
上式第一步和第二步用到了数分中的平均极限定理。最后一步的${\mu }_{\pi }$是一个稳态分布，稳态分布（steady state distribution）指的是原状态分布按照策略$\pi$选择action，状态被采样或转移的概率不变。
$$\sum _s{\mu }_{\pi }(s)\sum _a\pi (a|s)p(s^{\prime }|s,a)={\mu }_{\pi }(s^{\prime })$$
而给予稳态分布延伸出一个关于MDP的遍历性假设，每个策略$\pi$均独立于初始状态$S_0$，这表示一个状态的期望只与$\pi (a|s)$和$p(s^{\prime },r|s,a)$有关。与$S_0$和早期决策无关。
μ π ( s ) = lim ⁡ t − > ∞ P { S t = s ∣ A 0 : t − 1 ∼ π } \mu_\pi(s)=\displaystyle\lim_{t->\infty}P\{S_t=s|A_{0:t-1}\sim\pi\} μπ​(s)=t−>∞lim​P{St​=s∣A0:t−1​∼π}

Differential Return(微分回报)
在平均收益设定中，回报$G_t$是根据即时收益和平均收益的差来定义的：
$$G_t=R_{t+1}-r(\pi )+R_{t+2}-r(\pi )+R_{t+3}-r(\pi )+...$$
上式被称为微分回报，对应one-step TD价值函数$v_{\pi }(s)$称为微分价值函数（differential value function），对应Bellman Equation如下：
$$\begin{array}{rl}{v}_{\pi }(s)& ={\mathbb{E}}_{\pi }[G_t|S_t=s]=\mathbb{E}[R_t-r(\pi )|S_0,A_{0:t-1}\sim \pi ]\\ & =\sum _a\pi (a|s)\sum _{r,s^{\prime }}p(r,s^{\prime }|s,a)[r-r(\pi )+v_{\pi }(s^{\prime })]\end{array}$$
$r$为即时收益，$r(\pi )$为真实平均收益。
$$\{\begin{array}{l}{v}_{\pi }(s)=\sum _a\pi (a|s)\sum _{r,s^{\prime }}p(r,s^{\prime }|s,a)[r-r(\pi )+v_{\pi }(s^{\prime })]\\ q_{\pi }(s,a)=\sum _{r,s^{\prime }}p(s^{\prime },r|s,a)[r-r(\pi )+\sum _{a^{\prime }}\pi (a^{\prime }|s^{\prime })q_{\pi }(s^{\prime },a^{\prime })]\\ v_{\ast }(s)=\underset{a}{\max }\sum _{r,s^{\prime }}p(s^{\prime },r|s,a)[r-\underset{\pi }{\max }r(\pi )+v_{\ast }(s^{\prime })]\\ q_{\ast }(s,a)=\sum _{r,s^{\prime }}p(s^{\prime },r|s,a)[r-\underset{\pi }{\max }r(\pi )+\underset{a^{\prime }}{\max }{q}_{\ast }(s^{\prime },a^{\prime })]\end{array}$$
具体实现时，$r(\pi )$由于无法估计全局平均奖赏而只能不断迭代得到，所以是$r_t(\pi )$不是$r(\pi )$。即${\overline{R}}_t$，它是时刻$t$对平均收益$r(\pi )$的估计。对于两类TD Error的微分方式以及w的更新如下：
$$\{\begin{array}{l}{\delta }_t=R_{t+1}-{\overline{R}}_{t+1}+\hat{v}(S_{t+1},w_t)-\hat{v}(S_t,w_t)\\ w_{t+1}=w_t+\alpha {\delta }_t\nabla \hat{q}(S_t,w_t)\end{array}$$
以及
$$\{\begin{array}{l}{\delta }_t=R_{t+1}-{\overline{R}}_{t+1}+\hat{q}(S_{t+1},A_{t+1},w_t)-\hat{q}(S_t,A_t,w_t)\\ w_{t+1}=w_t+\alpha {\delta }_t\nabla \hat{q}(S_t,A_t,w_t)\end{array}$$

放弃使用Discounted Setting

略

微分Semi-SGD n-step Sarsa Control

将one-step扩展到n-step后的回报计算如下
$$G_{t:t+n}=R_{t+1}-{\overline{R}}_{t+1}+R_{t+2}-{\overline{R}}_{t+2}+...+R_{t+n}-{\overline{R}}_{t+n}+\hat{q}(S_{t+n},A_{t+n},w_{t+n-1})$$
其中，$\overline{R}$是对$r(\pi )$的估计，$n\ge 1$且$t+n<T$。如果$t+n\ge T$，和往常一样定义$G_{t:t+n}=G_t$。n-step TD Error则变为：
$${\delta }_t=G_{t:t+n}-\hat{q}(S_t,A_t,w)$$