Sarsa是单步更新的on-policy强化学习方法。是一种基于Q表的强化学习方法。也可以叫做Sarsa(0)。
下面是描述了小孩子在s1写作业状态,做了a2动作,继续写作业状态,然后在做a2动作的流程图。
Sarsa的Q(s1,a2)现实:是状态s2的奖励加上衰减率乘S2的决策后的动作的Q值,Q(s1,a2)估计就是s1a2的Q值。
下面的图是Q-Learning和Sarsa的区别对比。
因为Q-Learning 和 Sarsa 更新Q值的机制不同,Q-Learning计算Q现实的时候使用的MaxQ,但真正决策的时候并不一定会走MaxQ,所以导致模型胆子较大,一致想走捷径。
Sarsa则不懂,相比来说,Sarsa是行动派,计算Q现实的时候做的什么动作,下面就一定会做什么动作,这样就不一定使用MaxQ,则如果下一个状态的动作后面进入的状态有特别危险的,则也有可能会被学到,所以Sarsa更加谨慎小心。