Sarsa 对比 Q-Learning

Sarsa 对比 Q-Learning 算法

Sarsa 的决策部分和 Q-Learning 一模一样, 因为我们使用的是 Q 表的形式决策, 所以我们会在 Q 表中挑选值较大的动作值施加在环境中来换取奖惩。但是不同的地方在于 Sarsa 的更新方式是不一样的。

从上图中可以看到，Sarsa的Q值更新，直接选取最大潜在奖励的动作，直接执行；而Q-learning 在这一步只是估计了一下接下来的动作值，但是在真正要做决定时, 却不一定会选取到那个带来最大奖励的动作。

从算法上来看，Sarsa属于On-policy；Q-Learning属于Off-policy。

因为maxQ的存在，Q-Learing会选择最优解，学习过程较慢，且容易选择极端方法；而Sarsa属于单步更新，学习较快，学习过程相对保守。