强化学习仿真环境搭建

一、gym环境搭建（Windows版）

一些资料上介绍的是用Linux系统来安装gym环境，但本人比较习惯使用Windows系统，就没有安装Linux系统或者开虚拟机，最后安装在Windows系统上，功能也能达到。

二、总体流程

1、anaconda安装
2、pycharm安装
3、pycharm和anaconda对接
4、代码编写及运行结果

1、anaconda安装

1、anaconda官网链接，进入官网后直接点击Download下载windows的安装包。

2、下载结束后，会在下载目录中看到exe安装文件，双击即可开始安装。

3、弹出安装界面，点击next

4、点击I Agree，同意协议。

5、默认推荐设置，然后点击next

6、选择安装路径，建议不要放在C盘，然后点击next

7、勾选自动添加环境变量，这样后续不用再手动添加，对新人很友好，然后点击install。

8、然后等待安装完成后，点击next

9、然后一直next，直到出现最后一幅画面，取消勾选即可，最后finish。

10、验证anaconda是否安装成功
win+r调出运行窗口，输入cmd，点击确定，弹出命令行窗口。

输入conda -V，出现版本号，说明安装成功。

2、pycharm安装

1、pycharm官网链接，进入官网后，选择免费的社区版下载。

2、下载结束后，会在下载目录中看到exe安装文件，双击即可开始安装。

3、在欢迎界面点击next即可。

4、选择安装路径，点击next

5、勾选所有安装选项，点击next

6、默认推荐设置，点击next

7、等待安装完成后，选择稍后重启或者现在重启。

至此安装结束。

3、pycharm和anaconda对接

1、anaconda新建gym环境

1、在开始菜单中，找到Anaconda Navigator，单击打开，Anaconda Navigator是anaconda的可视化UI界面，当然也有命令行窗口，对于新人比较推荐图形化界面。

2、home界面是anaconda推荐下载的一些软件，根据个人需要进行下载。点击Environments。

3、新建环境，点击左下方的create。

4、填写环境名称和所使用的Python版本，使用默认Python版本即可，最后点击create。

5、点击刚刚创建环境的运行按钮，选择open terminal（打开终端）。

6、在终端内，升级pip并更换pip镜像源
（1）升级pip

python -m pip install --upgrade pip

(2)永久更换为清华的pip源

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pandas

7、安装gym0.19.0版本包和pyglet包，这里没有直接安装gym，是因为pip install gym或者pip install gym[classic_control]安装的包里缺少render文件，所以导致代码成功运行后，没有图像出来。

pip install gym==0.19.0

pip install pyglet

至此，gym的环境搭建完成。

2、pycharm与anaconda创建的gym环境对接

1、新建项目
打开pycharm后，点击new project，选择要保存项目的位置。然后是重点部分，这里要选择先前配置的解释器，即在anaconda中创建的gym的解释器，这里就是pycharm和anaconda的对接。我这里已经是汉化后的界面。

2、建议安装一下常用插件，如汉化插件、代码自动补全、主题等等。
在file——>setting——>plugins——>markplace中搜索所需的插件。安装插件后，要重启pycharm才会生效。

4、代码编写及运行结果

1、检查解释器
在整个界面的右下角有显示所使用的解释器。

2、删除main中的代码，输入下面的代码

import gym
env = gym.make('CartPole-v1')
env.reset()
for _ in range(100):
    env.render()
    env.step(env.action_space.sample()) # take a random action
env.close()
env.render()

3、运行代码，查看结果，出现倒立摆表示环境构建成功，代码中的警告可以忽略。