算法的trick_强化学习稀疏奖励算法总结

最近回答了一个问题，把稀疏奖励问题的算法做了总结，能力有限，欢迎补充～

强化学习中状态空间大，在只有达到特定的状态才能给出奖励的设定下，agent很难探索到特定状态，怎么办？

稀疏奖励问题是指agent探索的过程中难以获得正奖励，导致学习缓慢甚至无法进行学习的问题，并且广泛存在于现实中，比如围棋，人们很难去设定中间每步的奖励，并且状态空间巨大，使用全局奖励会有奖励稀疏且滞后的问题。

对于稀疏奖励问题的资料首先推荐李宏毅老师关于稀疏奖励部分的讲解和国内这篇稀疏奖励综述。

深度强化学习中稀疏奖励问题研究综述 - 中国知网​kns.cnki.net

我觉得目前的稀疏奖励算法可以从数据和模型入手，分别解决的问题主要有：

• 数据方面——如何利用好已有数据，如何使用外部数据和信息；
• 模型方面——如何提高模型解决大状态空间大动作空间下复杂问题的能力。

1. 如何利用好已有数据

Curiosity Driven：好奇心驱动是使用内在奖励鼓励agent探索更陌生的状态，平衡探索与利用，本质上是提高了样本的利用效率，主要分为两类，分别是基于状态计数的和基于状态预测误差的方法，前者比如这两篇文章Count-based exploration with neural density