相关代码链接:https://pan.baidu.com/s/1otkNz0QeqzYbKD9ON2Xy5A
提取码:brus
TD预测:TD(0):
- 虽然蒙特卡洛 (MC) 预测方法必须等到阶段结束时才能更新值函数估值,但是时间差分 (TD) 方法在每个时间步之后都会更新值函数。
- 对于任何固定策略,一步 TD(或 TD(0))保证会收敛于真状态值函数,只要步长参数
足够小。
- 在实践中,TD 预测的收敛速度比 MC 预测得要快。
TD预测:动作值
和 TD(0) 算法相似,该算法保证会收敛于真动作值函数,只要步长参数 足够小。
TD控制:Sarsa(0)
- Sarsa(0)(或 Sarsa)是既定策略 TD 控制方法。它保证会收敛于最优动作值函数 q_*q∗,只要步长参数 \alphaα足够小,并且所选的 \epsilonϵ 满足有限状态下的无限探索贪婪算法 (GLIE) 条件。Sarsa得名原因是每个动作值更新都使用状态动作奖励,后续状态,后续动作,互动元组。
TD控制:Sarsamax
- Sarsamax(或 Q 学习)是一种新策略 TD 控制方法。它会在保证 Sarsa 算法会收敛的相同条件下保证收敛于最优动作值函数
。
TD控制:预期Sarsa
- 预期 Sarsa 是一种新策略 TD 控制方法。它会在保证 Sarsa 和 Sarsamax 算法会收敛的相同条件下保证收敛于最优动作值函数
。
分析性能
- 既定策略 TD 控制方法(例如 Sarsa 和 Sarsa)比新策略 TD 控制方法(例如 Q 学习)的在线性能好。
- 预期 Sarsa 通常性能比 Sarsa 好。
该图显示了 Sarsa 和 Q 学习在悬崖行走环境中的效果,常量 \epsilon = 0.1ϵ=0.1。正如在教科书中所描述的,在这种情况下,
- Q 学习的在线效果更差(智能体在每个阶段平均收集的奖励更少),但是能够学习最优策略,以及
- Sarsa 可以获得更好的在线效果,但是学到的是次最优“安全”策略。