OpenAI Gym 是一个用于开发和比较RL 算法的工具包,与其他的数值计算库兼容,如tensorflow 或者theano 库。现在主要支持的是python 语言,以后将支持其他语言。官方提供的gym文档。
1.OpenAI Gym组成
Openai gym 包含2 部:
- gym 开源
包含一个测试问题集,每个问题成为环境(environment),可以用于自己的强化学习算法开发,这些环境有共享的接口,允许用户设计通用的
算法,例如:Atari、CartPole等。 - OpenAI Gym 服务
提供一个站点和api ,允许用户对他们训练的算法进行性能比较。
2.强化学习与OpenAI Gym
强化学习(reinforcement learning,RL)是机器学习的一个分支,考虑的是做出一系列的决策。它假定有一个智能体(agent)存在于环境中。在每一步中,智能体(agent)采取一个行动,随后从环境中收到观察与回报。一个RL算法寻求的是,在一个原先毫无了解的环境中通过一段学习过程——通常包括许多试错——让智能体(agent)收到的总体回报最大化。
在强化学习中有2 个基本概念,一个是环境(environment),称为外部世界,另一个为智能体agent(写的算法)。agent 发送action 至environment,environment返回观察和回报。而OpenAI Gym 的核心接口是Env,作为统一的环境接口。Env 包含以下核心方法:
- env.reset(self):重置环境的状态,返回观察
- env.step(self,action):推进一个时间步长,返回observation,reward,done,info
- env.render(self,mode=’human’,close=False):重绘环境的一帧。默认模式一般比较友好,如弹出一个窗口
3.OpenAI Gym安装
- 安装依赖包
- 1
- git安装
- 1
- 2
- 3
- 4
- 5
- pip安装