强化学习实验环境 I (MuJoCo, OpenAI Gym, rllab, DeepMind Lab, TORCS, PySC2)

和其它的机器学习方向一样，强化学习（Reinforcement Learning）也有一些经典的实验场景，像Mountain-Car，Cart-Pole等。话说很久以前，因为没有统一的开发测试平台，大家都会自己实现，有用C/C++的，有用Python，还有用Matlab的。所以大家论文中看到的场景虽然相似，但很多时候不完全一样。这样一方面重新造轮子，另一方面还有可能因为实验环境的差别影响结果的比较。于是后面大家渐渐开始建立统一的实验平台，另一方面，由于近年来深度强化学习（Deep Reinforcement Learning）的兴起，各种新的更复杂的实验场景也在不断涌现。于是出现了OpenAI Gym，MuJoCo，rllab, DeepMind Lab, TORCS, PySC2等一系列优秀的平台。你会在大量的强化学习相关论文中看到它们的身影。下面就简单介绍下这些平台在Ubuntu下的搭建过程。关于一些基础环境（如Cuda, Anaconda, TensorFlow）的搭建可参考前面的文章：http://blog.csdn.net/jinzhuojun/article/details/77140806。

 

MuJoCo

MuJoCo（Multi-Joint dynamics with Contact）是一个物理模拟器，可以用于机器人控制优化等研究。官方网站为http://www.mujoco.org/index.html。最新版本为1.50。下载地址为https://www.roboti.us/index.html。如果是Linux系统可以点mjpro150 linux。下载完成后解压到~/.mujoco下。注意要用是需要license的，可以在https://www.roboti.us/license.html上申请试用版30天免费license。先下载网站上提供的getid_linux，加执行权限在本地运行得到机器id连同其它信息填到申请页面，提交后会收到邮件包含key文件mjkey.txt。下载key文件后，放到~/.mujoco目录下。之后可以运行解压目录下bin里的simulate试下是否正常(需要将key文件也拷到simulate同级目录)。运行后将model目录下的模型拖入窗口，会看到类似下面的输出：

OpenAI对MuJoCo引擎做了Python 3的binding-mujoco-py，源码位于https://github.com/openai/mujoco-py。按readme中你可以通过下面命令安装：

pip3 install -U 'mujoco-py<1.50.2,>=1.50.1'

如果安装过程中出现下面这种错误：
sh: 2: Syntax error: "(" unexpected
       ERROR: Invalid activation key
你可以下载源码安装：

git clone https://github.com/openai/mujoco-py
cd mujoco-py
pip install -e . --no-cache

如果在后面有其它项目依赖到更高版本（如1.50.1），可以从官方release页面下载源码包（https://github.com/openai/mujoco-py/releases），然后用上面方法安装即可。然后运行下readme中的例子看是否运行正常。
 

OpenAI Gym

OpenAI Gym是OpenAI出的研究强化学习算法的toolkit，它里边cover的场景非常多，从经典的Cart-Pole, Mountain-