Sarsa

Sarsa是单步更新的on-policy强化学习方法。是一种基于Q表的强化学习方法。也可以叫做Sarsa(0)。
下面是描述了小孩子在s1写作业状态，做了a2动作，继续写作业状态，然后在做a2动作的流程图。

Sarsa的Q(s1,a2)现实：是状态s2的奖励加上衰减率乘S2的决策后的动作的Q值，Q(s1,a2)估计就是s1a2的Q值。

 下面的图是Q-Learning和Sarsa的区别对比。

因为Q-Learning 和  Sarsa 更新Q值的机制不同，Q-Learning计算Q现实的时候使用的MaxQ，但真正决策的时候并不一定会走MaxQ，所以导致模型胆子较大，一致想走捷径。
Sarsa则不懂，相比来说，Sarsa是行动派，计算Q现实的时候做的什么动作，下面就一定会做什么动作，这样就不一定使用MaxQ，则如果下一个状态的动作后面进入的状态有特别危险的，则也有可能会被学到，所以Sarsa更加谨慎小心。