在Windows下使用OpenAI Gym - HelloGym

OS: Win10 x64
IDE: Visual Studio 2017 Community
Python: Anaconda3 (v5.0.0 python3.6 x64)

下面我们介绍下如何在Windows系统中使用OpenAI Gym，Linux系统中的用法可参考此文。我们从安装开始。

安装OpenAI Gym

在Windows下安装OpenAI Gym目前来说并没有官方教程。安装方法也有多种，这里仅介绍一种比较简单的、轻量级的安装方法。其它安装可参考这篇帖子。

首先，找到Anaconda3的开始菜单目录，找到指令终端：Anaconda Prompt。

较老版本的Anaconda3这里没有这一项，无妨，可以去Anaconda3的安装文件夹下去找。运行这个cmd.exe，切记以管理员身份运行。

在指令终端输入：

pip install gym

然后等待安装完成即可。当然如果提示你没有安装pip，使用Anaconda Navigator安装，切记管理员身份运行。

下面安装一些OpenAI gym的仿真环境。

首先安装游戏仿真环境Atari，安装方式也有多种，这里介绍两种要求比较少的。其它安装方式也可参考这篇帖子。
方式一：在指令终端输入：

pip install git+https://github.com/Kojoley/atari-py.git

然后等待结束即可，当前前提是你的计算机中有安装 git 否则会失败。
方式二：去这里下载你的系统对应的whl文件。然后回到指令终端输入：

python -m pip install THE_NAME_OF_THE_FILE_YOU_JUST_DOWNLOADED.whl

注意替换你自己的路径，这样安装不需要git也行。Atari环境可以说是最常用的了。

下面安装Robotics仿真环境。注意Robotics环境需要MuJoCo物理引擎支持，而且MuJoCo还不是开源的。安装的具体步骤如下：

Step 1: 去MuJoCo官网申请一个30天免费试用的证书（你要是有学校的邮箱就能申请到完全免费的非商用证书）。填写一个能用的邮箱就行，然后下载一个id生成器（官网页面上有链接，选择你的操作系统），复制生成的ID到网页上，最后提交。查看邮箱，你很快就能收到。

Step 2: 下载操作系统对应的MuJoCo压缩包并解压缩，这里介绍的是Windows系统下的使用方法，下载对应的Windows版本即可。下载地址在这里 可以找到。

Step 3: 将邮件中的mjkey文件复制到解压缩后的bin文件夹中。下载的压缩包中包含几个例子，完成后为了检验是否能用，可以用下试试。当然是基于C++的例子，用法可以参考官方文档。

Step 4: 安装mujoco-py （未完待续……）

Step 5: 安装Robotics环境 （未完待续……）

其它环境的安装可参考这里。

一个简单的例子

打开Visual Studio 2017，新建一个Python应用程序，这里取名为“HelloGym”，名字你可随便取。注意Python环境选择Anaconda3。

然后在Python文件HelloGym.py（你找你自己的）中输入代码：

import gym
env = gym.make('CartPole-v0')
env.reset()

for _ in range(1000):
    env.render()
    env.step(env.action_space.sample())

完成后运行，你可以看到一个简单的倒立摆动画，尽管很快就跑飞了，因为没有控制算法。这个例子仅仅是为了你检测下Gym是否安装成功。

好了你可以继续玩了，具体玩法请参考官方手册，Good Luck ！