强化学习：时间差分法总结（悬崖）

相关代码链接：https://pan.baidu.com/s/1otkNz0QeqzYbKD9ON2Xy5A

提取码：brus

TD预测：TD(0)：

• 虽然蒙特卡洛 (MC) 预测方法必须等到阶段结束时才能更新值函数估值，但是时间差分 (TD) 方法在每个时间步之后都会更新值函数。
• 对于任何固定策略，一步 TD（或 TD(0)）保证会收敛于真状态值函数，只要步长参数 足够小。
• 在实践中，TD 预测的收敛速度比 MC 预测得要快。

TD预测：动作值

和 TD(0) 算法相似，该算法保证会收敛于真动作值函数，只要步长参数  足够小。

TD控制：Sarsa(0)

• Sarsa(0)（或 Sarsa）是既定策略 TD 控制方法。它保证会收敛于最优动作值函数 q_*q∗​，只要步长参数 \alphaα足够小，并且所选的 \epsilonϵ 满足有限状态下的无限探索贪婪算法 (GLIE) 条件。Sarsa得名原因是每个动作值更新都使用状态动作奖励，后续状态，后续动作，互动元组。

TD控制：Sarsamax

• Sarsamax（或 Q 学习）是一种新策略 TD 控制方法。它会在保证 Sarsa 算法会收敛的相同条件下保证收敛于最优动作值函数 ​。

TD控制：预期Sarsa

• 预期 Sarsa 是一种新策略 TD 控制方法。它会在保证 Sarsa 和 Sarsamax 算法会收敛的相同条件下保证收敛于最优动作值函数 ​。

分析性能

• 既定策略 TD 控制方法（例如 Sarsa 和 Sarsa）比新策略 TD 控制方法（例如 Q 学习）的在线性能好。
• 预期 Sarsa 通常性能比 Sarsa 好。

该图显示了 Sarsa 和 Q 学习在悬崖行走环境中的效果，常量 \epsilon = 0.1ϵ=0.1。正如在教科书中所描述的，在这种情况下，

• Q 学习的在线效果更差（智能体在每个阶段平均收集的奖励更少），但是能够学习最优策略，以及
• Sarsa 可以获得更好的在线效果，但是学到的是次最优“安全”策略。