OpenAI_ROS做强化学习

一、主要资源

1、The openai_ros package

作为连接RL与ROS & Gazebo的桥梁，openai_ros包一定需要了解，链接为：
openai_ros
Learn the basics of openai_ros using a Turtlebot2 simulation

2、网页教程（免费）

主页
20180814_[ROS Projects] – Use OpenAI_ROS with Turtlebot2 Step by Step – PE
20180719_[ROS Projects] – Use OpenAI_ROS with Turtlebot2 Step by Step #Part 1
20180730_[ROS Projects] – Use OpenAI_ROS with TurtleBot2 Step-by-Step #Part 2

3、在线课程（收费）

主页
课程网页

二、CSDN上的资源

1、抚琴弹出情调零

主页

gym-gazebo安装
系统: ubuntu18.04 ubuntu16.04(已弃用) ubuntu14.04(已弃用)
ROS: Melodic
Gzebo: 9.0

20190809_openai_ros教程（ ros gazebo 深度强化学习）
测试环境：ubuntu16.04，kinetic

2、zhangrelay

其人应该是ROS界的大牛。
主页
20190430ROS、OpenAI和Gazebo机器人与人工智能仿真与实践教研杂记（一）安装配置
课程教学实践环境：
系统：Ubuntu 18.04.2 LTS + ROS Melodic（1.0）1.14.3 ~ 1943 + ROS Crystal（2.0）0.6.1 ~ 541 etc.
仿真：Gazebo 9.8.0 + V-Rep 3.6.1 + Webots 2019a.1 etc.
实物：Cozmo/Vector + Leap Motion + Joystick + Camera + Microphone + Speaker + Phone（ios&android）+ Arduino etc.
镜像：ROS2Go ver2.0 + 实验楼ROS + Exbot ROS iso indigo&kinetic etc.
书籍：ROS机器人高效编程 + ROS机器人项目开发11例 etc.
编程：Matlab 2018a + Python 2.7 + Python 3.6 + C++ etc.
智能：Tensorflow + Caffe + OpenAI etc.
语音：科大讯飞 + 百度语音 + Sphinx etc.

Ubuntu 18.04.2 LTS
gym-gazebo支持ROS Melodic（1.0）
gym-gazebo2支持ROS Crystal（2.0）

20190513_ROS、OpenAI和Gazebo机器人与人工智能仿真与实践教研杂记（三）深度学习
关于ROS、OpenAI和Gazebo已经测试过环境包括：
Ubuntu 16.04 + ROS 1 Kinetic + OpenAI + Gazebo 7
Ubuntu 18.04 + ROS 1 Melodic + OpenAI +Gazebo 9

3、天涯0508

开发环境为Ubuntu 16.04、ROS版本为kinetic、py2。
主页
20180830_ROS开发笔记（8）——Turtlebot3 Gazebo仿真环境下深度强化学习DQN（Deep Q-Learning）开发环境构建
20180909_ROS开发笔记（9）——ROS 深度强化学习应用之keras版本dqn代码分析
20180914_ROS开发笔记（10）——ROS 深度强化学习dqn应用之tensorflow版本(double dqn/dueling dqn/prioritized replay dqn)

4、lxlong89940101

主页
20190528_强化学习实现四旋翼无人机的路径选择(Gym+Gym-Gazebo+Gazebo+Ros)
20190410_ROS+Gazebo+Gym+Gym_gazebo安装配置

5、RainStarX

主页
20181010_安装Airsim并在Airsim仿真环境下进行DDPG DQN强化学习算法无人机训练

三、FYO_踩坑记录

1、初步尝试

按照“一、1”与“二、1”中的教程进行操作都不太顺利，于是把openai_examples_projects中的turtle2_openai_ros_example全部拷下来，仍然问题不断、不得其解。

当前阶段的最大问题在于gym-gazebo总是不能安装好：

$ sudo pip install -e
[sudo] password for fyo: 

Usage:   
  pip install [options] <requirement specifier> [package-index-options] ...
  pip install [options] -r <requirements file> [package-index-options] ...
  pip install [options] [-e] <vcs project url> ...
  pip install [options] [-e] <local project path> ...
  pip install [options] <archive url/path> ...

-e option requires an argument

2、官方教程

找到了gym-gazebo的官方安装教程
里面写着几大打字：

Installation
Ubuntu 18.04
Ubuntu 16.04 (deprecated)
Ubuntu 14.04 (deprecated)
后面俩被官方弃用？！

不过后面也给出了Ubuntu 16.04 Basic requirements:
ROS Kinetic (/rosversion: 1.12.7)
Gazebo 8.1.1
Python 3.5.2
OpenCV3, installed from sources for Python 3 (git clone https://github.com/Itseez/opencv.git)
OpenAI gym

3、参考‘天涯0508’

Gazebo的版本倒还好说，但是python这恐怕是个大问题吧？当初为了安装ROS，特地建了一个使用python2.7的虚拟空间来着，现在忽然提到python3.5？我需要琢磨琢磨。

另外，即使未来可能出现兼容方面的问题，那也不应该此时安装不了呀？

‘天涯0508’和我的当前配置最为接近，我打算以他的内容为主要参考进行研究。完全参考他的这篇进行安装。安装tensorflow时有报错，回头再应对。

启动turtlebot3 gazebo环境等节点：

roslaunch turtlebot3_gazebo turtlebot3_stage_1.launch

发生报错：

根据这篇文章得以顺利解决：

export TURTLEBOT3_MODEL=burger

成功启动turtlebot3 gazebo环境等节点，调出仿真环境。

打开另外一个终端，启动DQN算法等节点：

source activate tensorflow
 
roslaunch turtlebot3_dqn turtlebot3_dqn_stage_1.launch

有报错：
错误：ImportError: libcublas.so.9.0: cannot open shared object file: No such file or directory
问题：找不到cuda9.0的版本。
出现该错误的主要原因：cuda未安装或者cuda的版本有问题

接下来python、tensorflow、cuda、cudnn、ros之间的版本都需要进行统筹规划。目前py27虚拟环境中并没有安装cuda等，但是有tf。

接下来的安装过程重点参考这篇文章

另外，既然官方已经弃用了ubuntu16,那么我在尝试16.04上搭建环境之后，其实也应该尽快尝试搭建18.04环境！