量化强化学习中的泛化

我们将发布CoinRun，这是一种训练环境，它为agent将其经验转移到新颖情况中的能力提供了度量标准，并且已经帮助澄清了强化学习中的长期难题。CoinRun在复杂性方面取得了理想的平衡：环境比传统的平台游戏（如Sonic）简单，但仍对最先进的算法提出了有价值的泛化挑战。

即使是令人印象深刻的RL策略，也经常在没有监督学习技术（如dropout和batch normalization）的情况下进行训练。但是，在CoinRun泛化机制中，我们发现这些方法确实产生了积极影响，并且我们以前的RL策略过分适合特定的MDP。

The generalization challenge

对于现有技术的深度强化学习（RL）算法，任务之间的归纳仍然很困难。尽管训练有素的agent可以解决复杂的任务，但他们仍努力将其经验转移到新的环境中。即使人们知道RL agent倾向于过度适应-即锁定其环境的具体细节而不是学习通用技能-RL agent仍通过评估他们所接受的环境来进行基准测试。这就像在监督学习中对您的训练集进行测试！

先前的工作使用了Sonic基准测试，过程生成的gridworld迷宫以及通用视频游戏AI框架来解决此问