SARSA 算法

SARSA，它是一种 TD 算法，SARSA 的目的是学习动作价值函数 $Q_{\pi }(s,a)$。
$Q_{\pi }$ 通常被用于评价策略的好坏，而非用于控制智能体。$Q_{\pi }$ 常与策略函数 π 结合使用，被称作 actor-critic（演员—评委）方法。策略函数 π 控制智能体，因此被看做“演员”；而 $Q_{\pi }$ 评价 π 的表现，帮助改进 π，因此 $Q_{\pi }$ 被看做“评委”。Actor-critic 通常用 SARSA 训练“评委”$Q_{\pi }$。

SARSA 算法的推导

SARSA 算法由下面的贝尔曼方程推导出：

用一个神经网络 q(s, a; w) 来近似 $Q_{\pi }(s,a)$。
给定当前状态 $s_t$，智能体执行动作 $a_t$，环境会给出奖励 $r_t$ 和新的状态$s_{t+1}$。然后基于 $s_{t+1}$ 做随机抽样，得到新的动作$\widetilde{a_{t+1}}\sim \pi (\cdot |s_{t+1})$。定义 TD 目标：
$$\widehat{y_t}\triangleq r_t+\gamma \cdot q(s_{t+1},\widehat{a_{t+1}};w)$$
我们鼓励 $q(s_t,a_t;w)$ 接近 TD 目标 $\widehat{y_t}$，所以定义损失函数：
$$L(w)\triangleq \frac{1}{2}[q(s_t,a_t;w)-\widehat{y_t}{]}^2$$
损失函数的变量是 w，而 $\widehat{y_t}$被视为常数。（尽管 $\widehat{y_t}$也依赖于参数 w，但这一点被忽略掉。）设 $\widehat{q_t}$= $q(s_t,a_t;w)$。损失函数关于 w 的梯度是：
$${\nabla }_{w}L(w)=\underset{TD误差{\delta }_t}{\underbrace{(\widehat{q_t}-\widehat{y_t})}}\cdot {\nabla }_{w}q(s_t,a_t;w)$$
做一次梯度下降更新 w：
$$w\leftarrow w-\alpha \cdot {\delta }_t\cdot {\nabla }_{w}q(s_t,a_t;w)$$

训练流程

设当前价值网络的参数为 $w_{now}$，当前策略为 ${\pi }_{now}$。每一轮训练用五元组 $(s_t,a_t,r_t,s_{t+1},\widetilde{a_{t+1}})$ 对价值网络参数做一次更新。

1. 观测到当前状态 $s_t$，根据当前策略做抽样：$a_t\sim {\pi }_{now}(\cdot |s_t)$。
2. 用价值网络计算 $(s_t,a_t)$ 的价值：
   $$\widehat{q_t}=q(s_t,a_t;w_{now})$$
3. 智能体执行动作 $a_t$ 之后，观测到奖励 $r_t$ 和新的状态 $s_{t+1}$。
4. 根据当前策略做抽样：$\widehat{a_{t+1}}\sim {\pi }_{now}(\cdot |s_{t+1})$。注意，$\widehat{a_{t+1}}$ 只是假想的动作，智能体不予执行。
5. 用价值网络计算 $(s_{t+1},\widehat{a_{t+1}})$ 的价值：
   $$\widehat{q_{t+1}}=q(s_{t+1},\widehat{a_{t+1}};w_{now})$$
6. 计算 TD 目标和 TD 误差：
   $$\widehat{y_t}=r_t+\gamma \cdot \widehat{q_{t+1}},{\delta }_t=\widehat{q_t}-\widehat{y_t}$$
7. 对价值网络 q 做反向传播，计算 q 关于 w 的梯度：
   $${\nabla }_{w}q(s_t,a_t;w_{now})$$
8. 更新价值网络参数：
   $$w_{new}\leftarrow w_{now}-\alpha \cdot {\delta }_t\cdot {\nabla }_{w}q(s_t,a_t;w_{now})$$
9. 用某种算法更新策略函数。该算法与 SARSA 算法无关

参考 https://github.com/wangshusen/DRL