我们将发布CoinRun,这是一种训练环境,它为agent将其经验转移到新颖情况中的能力提供了度量标准,并且已经帮助澄清了强化学习中的长期难题。CoinRun在复杂性方面取得了理想的平衡:环境比传统的平台游戏(如Sonic)简单,但仍对最先进的算法提出了有价值的泛化挑战。
即使是令人印象深刻的RL策略,也经常在没有监督学习技术(如dropout和batch normalization)的情况下进行训练。但是,在CoinRun泛化机制中,我们发现这些方法确实产生了积极影响,并且我们以前的RL策略过分适合特定的MDP。
![]() |
![]() |
The generalization challenge
对于现有技术的深度强化学习(RL)算法,任务之间的归纳仍然很困难。尽管训练有素的agent可以解决复杂的任务,但他们仍努力将其经验转移到新的环境中。即使人们知道RL agent倾向于过度适应-即锁定其环境的具体细节而不是学习通用技能-RL agent仍通过评估他们所接受的环境来进行基准测试。这就像在监督学习中对您的训练集进行测试!
先前的工作