今天,谷歌宣布开源基于 TensorFlow 的强化学习框架——Dopamine。
GitHub repo:https://github.com/google/dopamine
强化学习是一种人工智能(AI)技术,它使用奖励(或惩罚)来驱动agent朝着特定目标前进,比如之前大火的Alpha Go击败人类顶尖围棋选手,还有在 Dota2 对战人类职业玩家的Open AI Five。同时,强化学习也是DeepMind 的深度Q 网络(DQN)的核心部分,可以在多个workers 中分配学习,例如,在Atari 2600游戏中实现“超人”性能。麻烦的是,强化学习框架需要时间来掌握一个目标,往往是不灵活的,也不够稳定。
这就是谷歌提出替代方案的原因:基于TensorFlow的开源强化学习框架——Dopamine,从今天开始,它可以从Github获得。
(https://github.com/google/dopamine/tree/master/docs#downloads)
谷歌研究人员表示,他们开源的这个 TensorFlow 强化学习框架强调三点: 灵活、稳定和可重复性。
受到主要组件之一大脑中奖励动机行为行为的启发,以及反映神经科学和强化学习的研究之间的联系,这个平台的目的是使推测性研究推动根本性的发现,此版本还包括一组阐明如何使用整个框架的colabs。
易用性
为此,它包括了一套精心编写的代码(15个Python文件),专注于Arcade学习环境(一个用视频游戏评估AI技术的平台)以及四种不同的机器学习模型:上述提到的深度Q 网络(DQN); C51; Rainbow agent的一个简化版本; Implicit Quantile Network agent。清晰和简洁是这个框架设计中的两个关键考虑因素。
可重复性
为了实现强化学习的可重复性,代码在Arcade学习环境支持的60个游戏中提供完整的测试覆盖率和训练数据(采用JSON和Python pickle格式),并遵循标准化结果以进行实证评估的最佳实践。
基准测试
对于新的研究者来说,对自己的想法进行快速的基准测试是非常重要的。谷歌提供四个智能体的完整训练数据,包括ALE 支持的60 个游戏,格式为Python pickle 文件(对于使用谷歌框架训练的智能体)和JSON 数据文件(用于对比其他框架训练的智能体)。谷歌还提供了一个网站,研究者可以使用该网站对所有提供智能体在所有60 个游戏中的训练运行进行快速可视化。
谷歌的4 个智能体在Seaquest 上的训练运行(Seaquest 是ALE 支持的Atari
除此之外,谷歌还推出了一个网站,允许开发人员将多个训练中智能体的运行情况快速可视化。它还提供经过训练的模型、原始统计日志和TensorFlow event files,用于TensorBoard动态图的绘制,TensorBoard是一个web应用可视化套件。
“我们的希望是,我们的框架的灵活性和易用性将使研究人员能够尝试新的思想,无论是渐进的还是激进的。”作者Bellemare和Castro表示,“我们已经积极地将它用于我们的研究,而且发现它能够使我们能够灵活地快速迭代许多想法。我们很高兴看到更多的社区可以应用这一框架。”
来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/31509949/viewspace-2213020/,如需转载,请注明出处,否则将追究法律责任。
转载于:http://blog.itpub.net/31509949/viewspace-2213020/