RL-赵-(七)-不基于模型4：n-step Sarsa【TD算法】【Sarsa与MC的折中形式：采样n步就更新π】【Sarsa只需要一步的数据就更新；MC需等到一个episode数据搜集结束再更新】

n-Step Sarsa是Sarsa的一个变型或者是一个推广，因为n-step Sarsa包含了Sarsa和蒙特卡洛两种方法，也就是can unify Sarsa and Monte Carlo learning。

Action Value 的定义如下：
$$q_{\pi }(s,a)=\mathbb{E}[G_t|S_t=s,A_t=a]$$

其中的 discounted return $G_t$ 有很多种写法【$G_t^{(1)}$表示第一种写法，$G_t^{(n)}$表示第$n$中写法】：
$$\begin{array}{rl}\text{Sarsa}⟵G_t^{(1)}& =R_{t+1}+\gamma q_{\pi }(S_{t+1},A_{t+1}),【第t+1时间步后的所有reward都汇总到q_{\pi }(S_{t+1},A_{t+1})】\\ G_t^{(2)}& =R_{t+1}+\gamma R_{t+2}+{\gamma }^2{q}_{\pi }(S_{t+2},A_{t+2}),【第t+2时间步后的所有reward都汇总到q_{\pi }(S_{t+2},A_{t+2})】\\ \text{:}& \\ n\text{-step Sarsa}⟵G_t^{(n)}& =R_{t+1}+\gamma R_{t+2}+\cdots +{\gamma }^n{q}_{\pi }(S_{t+n},A_{t+n}),【第t+n时间步后的所有reward都汇总到q_{\pi }(S_{t+n},A_{t+n})】\\ \text{MC}⟵G_t^{(\infty )}& =R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+\dots \end{array}$$

• $R_{t+1},R_{t+2},...R_{t+n},...$ 表示 immediatly reward。
• 注意这里边所有含有上标的这些 $G_t$ 都是等价的。只不过它们之间的不同是基于它们怎么样去分解。
  
• 使用 $G_t^{(1)}$ 带入action value，得到Sarsa的action value公式：
  $$\begin{array}{r}{q}_{\pi }(s,a)=\mathbb{E}[G_t^{(1)}|s,a]=\mathbb{E}[R_{t+1}+\gamma q_{\pi }(S_{t+1},A_{t+1})|s,a]\end{array}$$
• 使用 $G_t^{(\infty )}$ 带入action value，得到 MC learning 的 action value公式：
  $$q_{\pi }(s,a)=\mathbb{E}[G_t^{(\infty )}|s,a]=\mathbb{E}[R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+\dots |s,a]$$
• 因此，一个中间的算法称为n-step Sarsa，其action value求解公式为：
  $$q_{\pi }(s,a)=\mathbb{E}[G_t^{(n)}|s,a]=\mathbb{E}[R_{t+1}+\gamma R_{t+2}+\cdots +{\gamma }^n{q}_{\pi }(S_{t+n},A_{t+n})|s,a]$$

因此 n-step Sarsa算法 是：
$$\begin{array}{r}{q}_{t+1}(s_t,a_t)=q_t(s_t,a_t)-{\alpha }_t(s_t,a_t)[q_t(s_t,a_t)-[r_{t+1}+\gamma r_{t+2}+\cdots +{\gamma }^n{q}_t(s_{t+n},a_{t+n})]].\end{array}$$

当 $n=1$ 的时候，n-step Sarsa就变成了（one-step）Sarsa算法，如果 $n=\infty$，n-step Sarsa变成了MC learning算法。

对Sarsa的一些性质分析：

• Sarsa只需要一步的数据，就更新，所以说是实时的；MC需要等到一个episode的数据搜集结束再更新，所以也是offline的；
• n-step Sarsa折中，需要n步的数据：$(s_t,a_t,r_{t+1},s_{t+1},a_{t+1},...,r_{t+n},s_{t+n},a_{t+n})$；
• 因为在时刻 $t$，不知道 $(r_{t+n},s_{t+n},a_{t+n})$，所以在 $t$ 时间步，不能实现n-step Sarsa。我们必须等待 $t+n$ 时刻才能更新$(s_t,a_t)$的 q-value:
  $$\begin{array}{rl}{q}_{t+n}(s_t,a_t)& =q_{t+n-1}(s_t,a_t)\\ & -{\alpha }_{t+n-1}(s_t,a_t)[q_{t+n-1}(s_t,a_t)-[r_{t+1}+\gamma r_{t+2}+\cdots +{\gamma }^n{q}_{t+n-1}(s_{t+n},a_{t+n})]]\end{array}$$
• 因为MC learning和Sarsa实际上是n-step Sarsa的两个极端情况，因此，它的性质是Sarsa和MC learning性质的混合：
  • 如果 n 较大，它的性质接近MC learning，因此具有一个较大的variance，但是有一个较小的bias；
  • 如果 n 较小，它的性质接近Sarsa，因此由于initial guess具有一个相对大的bias，但是具有相对较低的variance。
• 最终， n-step Sarsa实际上还是在做policy evaluation，因此它需要和policy improvement step结合以寻找最优策略。

---

---

---

参考资料：
【强化学习】强化学习数学基础：时序差分方法