强化学习算法：Q-learning与Sarsa（区别与联系）

$Q-learning$与 $Sarsa$都是基于 $Qtable$的算法， $Q-learning$属于离线学习策略， $Sarsa$属于在线学习策略。

Q-learning

$Q-learning$算法伪代码：

Sarsa

$Sarsa$算法伪代码：

二者主要区别

$Q-learning$与$Sarsa$的唯一区别在于$Qtable$的更新方式。

$Q-learning$更新$Q$值的方式：

$Sars$a更新$Q$值的方式：

区别详解

① 对于$Q-learning$来说：在状态$S_t$下，根据某策略（如$ϵ-greedy$策略）执行动作$A_t$到达状态$S_{t+1}$之后，利用在状态$S_{t+1}$下采取所有动作中最大的那个$Q(S_{t+1},a)$，来更新$Q(S_t,a)$，但是其并不真正采取$(S_{t+1},a)$。对于在状态$S_{t+1}$出选择要执行的动作可以理解为$S_t=S_{t+1}$，即在状态$S_{t+1}$下选择要执行的动作依然要使用相同的某策略（如$ϵ-greedy$策略）。

② 对于$Sarsa$来说：在状态$S_t$下，根据某策略（如$ϵ-greedy$策略）执行动作$A_t$到达状态$S_{t+1}$之后，此时用来更新$(S_t,a)$的$Q$值的方法依然采用某策略（如$ϵ-greedy$策略），并且真正采取$(S_{t+1},a)$。

③ 我们要把选取动作和更新$Q$表值区分开来，对于两个算法来说，选择动作都是采用某策略（如$ϵ-greedy$策略），区别就在于$Q-learning$更新$Q$值的方式为贪婪策略，即直接选择最大的$Q(S_{t+1},a)$，而$Sarsa$更新$Q$值的方式依然为某策略（如$ϵ-greedy$策略）。

④ $Q-learning$选取动作和更新$Q$表值的方法不同，而$Sarsa$选取动作和更新$Q$表值的方法相同。

⑤ $Q-learning$每次选取动作和更新$Qtable$后就会生成一个$<s，a，r，s^{\prime }>$序列，成为一个sample。同理，$Sarsa$每次选取动作和更新$Qtable$后会生成另一个$<s，a，r，s^{\prime }>$序列，成为另一个sample。

Q-learning与Sarsa图解

$Q-learning$：

$Sarsa$：

cliff-walking代码实例

Sutton的《强化学习》例题6.6的代码。

运用Q-learning和Sarsa两种算法进行训练，并进行对比。

GitHub链接：
https://github.com/chenyiqun/TD/tree/master