本文介绍了在没有神经网络时，通过表格法实现的强化学习算法，包括Off-policy的Q learning（冒险想象派）和On-policy的Sarsa learning（保守实践派）。这两种算法在决策和更新Q表方面有相似之处，但Sarsa算法在更新时考虑了实际采取的动作。此外，还提到了Sarsa-lambda算法，其Lambda参数决定了更新的强度和未来价值的影响。
Off-policy Q learning算法和On-policy Sarsa learning都是时序差分（TD）下对动作价值函数优化的单步方法，在没有神经网络之前，都是通过table的方法，下面简单介绍一下：
最佳决策可以通过遍历所有的情况去得到，有些时候情况比较多元，只能通过部分的情况去学习经验，然后得到一个亚最佳决策（趋近于最佳决策）。
那么如何得到亚最佳决策是我们关心的问题。
Off-policy Q learning算法（冒险想象派）：
决策算法：在行为准则Q表（在状态s下所有可以选择动作的价值表）中，遵循e-greedy策略选取最大价值的动作进行执行，重复执行。
更新算法：更新行为准则Q表，通过价值的现实值和估计值。</
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
