强化学习——百度飞桨paddlepaddle parl

1. 配置环境

安装paddlepaddle(CPU/GPU)

CPU和GPU版本的paddlepaddle均可使用，不知道是由于本人电脑显卡性能过低还是其他原因，并未发现明显训练速度差异。应该是缺少GPU驱动代码。

参考链接：手把手教你 win10 安装Paddlepaddle-GPU

问题：

 这一步显示失败，但nvcc -V测试安装成功，不知道会有什么影响，暂时并未发现。只是train.py运行结束后会显示下面两行提示。

W0727 21:43:10.972656 13036 device_context.cc:252] Please NOTE: device: 0, CUDA Capability: 61, Driver API Version: 11.7, Runtime API Version: 10.0
W0727 21:43:11.495625 13036 device_context.cc:260] device: 0, cuDNN Version: 7.6.

2. lesson3中dqnCartPole项目训练结束出现报错

发现原因，渲染的图形界面不能正常关闭，在训练结束后增加如下代码：

env.close()

3. lesson3中dqn_mountaincar项目训练无误，但图形界面并未渲染出来。

发现问题原因：

render=True 查看显示效果

4. lesson4作业中atari游戏无法打开，显示[WinError 126]

问题描述：当在Window环境下使用Gym模块的时候，基础环境都能使用，但是使用Atari游戏模型会报错OSError: [WinError 126] 找不到指定的模块。

解决方法参考：

卸载更换版本，无效。

使用如下操作，无效。

    pip install 'gym[atari]'
    pip install 'gym[accept-rom-license]'

 window安装gym中Atari游戏出现[WinError 126]问题的解决方法
尝试windows安装gym[atari]时踩的坑_思念殇千寻的博客-CSDN博客仍然报错。

按照上述方法自动安装gym==0.25.0，出现ROM报错，参考链接GitHub - openai/atari-py: A packaged and slightly-modified version of https://github.com/bbitmaster/ale_python_interface

 成功！！！

pip install gym==0.18.0
pip install atari-py
# python -m atari_py.import_roms <path to folder>
python -m atari_py.import_roms h:\atari_rom\Roms

本parl环境使用python=3.7，发现paddlepaddle==1.8.5不能满足，只有从1.9开始的paddlepaddle版本。

后续新建环境设置python=3.6，paddlepaddle==1.8.5安装无误，并且按照requirements配置环境均没有出现上述错误。

# requirements for tutorials (paddle fluid version)
paddlepaddle==1.8.5
parl==1.4
gym==0.18.0
atari-py==0.2.6
rlschool==0.3.1