Docker实操4——Stable Baselines3强化算法库

最新推荐文章于 2024-05-30 18:08:14 发布
最新推荐文章于 2024-05-30 18:08:14 发布
阅读量2.7k 收藏 7
点赞数 3
分类专栏： 环境配置 文章标签： docker 强化学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40056577/article/details/122202375
版权

Docker——强化算法库StableBaselines3

概述

  1. 上一篇文章里制作好了一个强化环境的镜像Docker实操3——配置强化学习环境镜像——dm_control:py38_mujoco210
  2. 这次主要目的是接入强化学习算法库Stable Baselines31：https://github.com/DLR-RM/stable-baselines3

一、跑通Stable_baselines

  1. 跑起上一篇文章里Dockerfile配置的环境镜像，其容器命名为stable_baselines
# 实际使用时，可挂载volume来保存container中自己想保存的数据(后续细说）
nvidia-docker run -itd --name stable_baselines --network host dm_control:py38_mujoco210 bash
  1. 进入容器，并激活镜像中我们配置的conda虚拟环境deep_rl
# 以用户pamirl的身份进入
docker exec -it -u pamirl stable_baselines bash
cd ~
conda activate deep_rl
  1. 容器内安装stable_baselines3算法库
pip install stable-baselines3[extra]
pip install pyglet
  1. 首先测试一下之前装的mujoco210：python test_mujoco.py
# test_mujoco.py
import mujoco_py
import os
mj_path = mujoco_py.utils.discover_mujoco()
xml_path = os.path.join(mj_path, 'model', 'humanoid.xml')
model = mujoco_py.load_model_from_path(xml_path)
sim = mujoco_py.MjSim(model)

print(sim.data.qpos)
sim.step()
print(sim.data.qpos)

结果如下：
2
5. 再测试一下cuda是否正常：python test_cuda.py

# test_cuda.py
import torch
print(torch.__version__)
print(torch.cuda.is_available()) #cuda是否可用
print(torch.cuda.device_count()) #返回GPU的数量
print(torch.cuda.get_device_name(0)) #返回gpu名字

在这里插入图片描述

  1. 调用PPO跑一个CartPole：python test_stable_baselines.py
# test_stable_baselines.py
import gym

from stable_baselines3 import PPO

env = gym.make("CartPole-v1")

model = PPO("MlpPolicy", env, verbose=1)
model.learn(total_timesteps=100000)

obs = env.reset()
for i in range(1000):
    action, _states = model.predict(obs, deterministic=True)
    obs, reward, done, info = env.step(action)
    #env.render()
    if done:
      obs = env.reset()

env.close()

跑了10万步的训练结果如下：
3
7. 调用PPO跑一百万步的HalfCheetah-v3，结果如下：4

二、Stable-Baselines

2.1 看setup.py

在github上看看stable-baselines的setup.py，对照一下关键包的版本问题

  1. setup.py
    1
    4
  2. 在容器上运行conda list | grep gym，容器内gym版本刚好满足，pytorch更不用说啦，本来安装的就是1.10.1版本！6
  3. 在容器上运行conda list | grep atari
    （有点担心，可能会埋下隐患，但我相信atari_py的兼容性！）
    10

2.2 package的基本信息

  1. pip show stable-baselines3：查看包的metadata
    11
  2. cd /home/pamirl/miniconda3/envs/deep_rl/lib/python3.8/site-packages && tree -L 2：查看包的结构
    12
  3. 然后就是看Stable-Baselines3 Documentation，具体代码去学习各种算法的写法以及封装了

2.3 RL Baselines Zoo2

  • 假设我们学会了怎么用stable baselines，发现还要写好多辅助脚本：监控训练过程、模型载入、保存、评估、画图、调参等。这时候就可以看RL Baselines Zoo ，里面提供了许多训练、画图、评估的脚本
  • git clone RL Baselines Zoo，直接用它脚本ok！
  • 剩下的就是仔细看Stable Baselines 和 RL Baslines Zoo的文档就好了，那么使用就没问题！后面再仔细介绍如何魔改stable-baselines的开发流程，I mean 利用stable-baselinses创造新算法，监控训练过程，保存、加载、评估模型、绘

2.4 PyBullet3

pip3 install pybullet --upgrade --user：惊喜地发现使用pybullet环境也非常简单

# python test_pybullet.py
import os
import gym
import pybullet_envs

from stable_baselines3.common.vec_env import DummyVecEnv, VecNormalize
from stable_baselines3 import PPO

env = DummyVecEnv([lambda: gym.make("HalfCheetahBulletEnv-v0")])
# Automatically normalize the input features and reward
env = VecNormalize(env, norm_obs=True, norm_reward=True,
                   clip_obs=10.)

model = PPO('MlpPolicy', env)
model.learn(total_timesteps=2000)
print("finish learning")
# Don't forget to save the VecNormalize statistics when saving the agent
log_dir = "/tmp/"
model.save(log_dir + "ppo_halfcheetah")
print("saving model at {0}".format(log_dir))
stats_path = os.path.join(log_dir, "vec_normalize.pkl")
env.save(stats_path)
print("saving env at {}".format(stats_path))
# To demonstrate loading
del model, env

# Load the saved statistics
env = DummyVecEnv([lambda: gym.make("HalfCheetahBulletEnv-v0")])
print("loading env and model")
env = VecNormalize.load(stats_path, env)
#  do not update them at test time
env.training = False
# reward normalization is not needed at test time
env.norm_reward = False

# Load the agent
model = PPO.load(log_dir + "ppo_halfcheetah", env=env)

2.5 Atari

如果想使用atari环境，还需要装ROMs，为了完整性：

wget http://www.atarimania.com/roms/Roms.rar
unrar e ~/atari_roms
python -m atari_py.import_roms ~/atari_roms

三、总结

  1. 一共创建了test_cuda.py test_mujoco.py test_stable_baselines3.py test_pybullet.py四个测试文件
  2. 目前这个容器，可以重新commit一下或加到之前的Dockerfile中，pybullet、mujoco、atari这三个强化环境竟然都能在强化算法库stable-baselines3下以gym的环境接口统一调用了，舒服！

实际上，我们仅仅是在原镜像基础上pip install stable-baselines3[extra] pyglet pybullet，可能再git clone一个RL Baselinses Zoo，呵，继续搬砖了！

  1. 美中不足的是，没法使用env.render()，要处理一下X-server的问题
    • 如果是在docker container所在的linux 服务器上接显示器看的话，那还算简单，参见Docker_Display with X Server
    • 如果像我这样：Mac的iTerm ssh到remote linux server，再exec到container，想render到本Mac的界面上，捣鼓过但还没解决； 或者是Vscode ssh到remote linux server上运行代码，有大佬解决了请告诉我一下！
    • 折中方案：在docker container中开jupyter notebook，在jupyter notebook上画出来看

下次有时间再仔细写用jupyter notebook的远端开发RL算法的过程

  1. https://github.com/DLR-RM/stable-baselines3 ↩︎

  2. https://github.com/DLR-RM/rl-baselines3-zoo ↩︎

  3. https://github.com/bulletphysics/bullet3 ↩︎

Nemo555
关注
  • 3
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
训练提速17%，第四范式开源强化学习研究框架，支持单、多智能体训练
数据派THU
05-12 189
来源：机器之心 本文约4000字，建议阅读10分钟 强化学习研究框架 OpenRL 是基于 PyTorch 开发的，已经在 GitHub 上开源。OpenRL 是由第四范式强化学习团队开发的基于 PyTorch 的强化学习研究框架，支持单智能体、多智能体、自然语言等多种任务的训练。OpenRL 基于 PyTorch 进行开发，目标是为强化学习研究社区提供一个简单易用、灵活高效、可持续扩展的平台。目...
Python库 | stable_baselines3-0.9.0a2.tar.gz
04-15
资源分类：Python库 所属语言：Python 资源全名：stable_baselines3-0.9.0a2.tar.gz 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059
安装stable-baselines3
最新发布
qq_44060411的博客
05-30 549
安装stable-baselines3一直显示不能正常运行一执行就报错。
强化学习 Stable Baselines3
编码时光
02-17 4104
关于 Stable Baselines3，SB3 支持的强化学习算法，安装，官方代码（Colab），快速使用，模型的保存和加载，包装gym环境，多环境训练，CallBack类，自定义 gym 环境，简单训练，自动学习，自定义特征抽取层，自定义策略网络层，使用SB3 Contrib
Stable-Baselines3安装
cclbl的博客
02-16 8860
Stable-Baselines3安装
强化学习之stable_baseline3详细说明和各项功能的使用
热门推荐
小星AI
02-24 2万+
stable-baseline3是一个非常受欢迎的深度强化学习工具包，能够快速完成强化学习算法的搭建和评估，提供预训练的智能体，包括保存和录制视频等等，是一个功能非常强大的库。 详情可以查看官网：https://stable-baselines3.readthedocs.io/en/master/
Stable-baselines3的基本原理与使用-1
Nemo的博客
01-14 1万+
stable_baselines3的设计原理学习-1
docker入门——思维导图
07-21
3. Docker Registry：镜像仓库，用于存储和管理镜像。 Docker的命令 1. `docker images`：查看本地所有镜像。 2. `docker search`：从仓库中寻找所需镜像。 3. `docker pull`：下载镜像到本地仓库。 4. `docker ...
stable-baselines:稳定基线的镜子
05-01
稳定基线是一组基于OpenAI的强化学习算法的改进实现。 您可以在“ 阅读有关“稳定基准”的详细介绍。 这些算法将使研究社区和行业更容易复制，改进和识别新想法，并将创建良好的基准以在其上构建项目。 我们希望...
Docker实战——项目容器化改造实战
02-24
容器是一种轻量级、可移植、自包含的软件打包技术，使应用程序可以在几乎任何地方以相同的方式运行。开发人员在自己笔记本上创建并测试好的容器，无需任何修改就能够在生产系统的虚拟机、物理服务器或公有云主机上...
Docker技术的测试应用——接口测试平台
02-25
本文来自于infoq，本文主要讲解，如何巧用Docker的天然优势，构建一个扩展性强的接口测试平台，以及构建平台过程中遇到的技术细节。HTTP接口测试是大家接触较多的一种测试类型，也是做自动化验证、快速回归的重要...
rl-baselines3-zoo:使用稳定基准3，训练和超参数优化的预训练RL代理的集合
03-21
RL Baselines3 Zoo：稳定的Baseline3强化学习代理的培训框架 RL Baselines3 Zoo是使用强化学习（RL）的培训框架。 它提供了用于训练，评估代理，调整超参数，绘制结果和录制视频的脚本。 此外，它还包括针对常见环境和RL算法的调整超参数的集合，以及使用这些设置训练的代理。 我们正在寻找有助于完成收藏的贡献者！ 该存储库的目标： 提供一个简单的界面来训练和享受RL代理商 对不同的强化学习算法进行基准测试 为每种环境和RL算法提供调整的超参数 和训练有素的代理商一起玩吧！ 这是原始SB2 的SB3版本。 训练代理 每个环境的超参数都在hyperparameters/algo_name.yml中定义。 如果此文件中存在环境，那么您可以使用以下方法训练代理： python train.py --algo algo_name --env env_id 例如（具有张
stable-baselines-zh:Stable Baselines官方文档中文版
05-09
Stable Baselines官方文档中文版 起这个名字有点膨胀了。 网上没找到关于Stable Baselines使用方法的中文介绍，故翻译部分。非专业出身，如有错误，请指正。 官方文档中文版汇总： 注释 @@@后的内容是自己加的注释 --------------------------------------------------------以下为翻译正文------------------------------------------------------------ 是一组基于OpenAI 的改进版强化学习(RL: Reinforcement Learning)实现。 Github网址： RL Baselines Zoo(预训练agents集合)： RL Baselines zoo也提供一个简单界面，用于训练、评估agents以及超参数微调。 你可以在Medium上查
rl-baselines-zoo:使用稳定基准，训练和超参数优化收集了100多种预训练的RL代理
05-23
警告：该存储库已不再维护，请使用由支持的最新版本的 RL基线动物园：预先训练的强化学习代理的集合 使用，具有经过调整的超参数的训练有素的强化学习（RL）代理的集合。 我们正在寻找有助于完成收藏的贡献者！ 该存储库的目标： 提供一个简单的界面来训练和享受RL代理商 对不同的强化学习算法进行基准测试 为每种环境和RL算法提供调整的超参数 和训练有素的代理商一起玩吧！ 享受训练有素的经纪人 如果训练有素的座席存在，则可以使用以下命令查看它的运行情况： python enjoy.py --algo algo_name --env env_id 例如，在5000个时间步中享受突破时的A2C： python enjoy.py --algo a2c --env BreakoutNoFrameskip-v4 --folder trained_agents/ -n 5000 如果您自己训练了
Stable-Baselines 3 部分源代码解读 1 base_class.py
m0_48948682的博客
02-22 1706
阅读PPO相关的源码，了解一下标准库是如何建立PPO算法以及各种tricks的，以便于自己的复现。在Pycharm里面一直跳转，可以看到PPO类是最终继承于基类，也就是这个py文件的内容。所以阅读源码就先从这里开始。: )
Stable Baselines官方文档中文版
漫步量化
07-26 1万+
起这个名字有点膨胀了。 网上没找到关于Stable Baselines使用方法的中文介绍，故翻译部分官方文档。非专业出身，如有错误，请指正。 官方文档中文版汇总：Github：https://github.com/DBWangML/stable-baselines-zh Stable Baselines是一组基于OpenAI Baselines的改进版强化学习(RL: Reinforcemen...
stable_baselines快速入门
shouchen1的博客
06-30 2889
baselines是OpenAI推出的一套强化学习算法组件，用于快速配置强化学习算法，对入门者比较友好。本文通过stable_baselines建立DQN框架，训练并运行倒立摆（CartPole-v0）
Stable Baselines/用户向导/RL Baselines Zoo
漫步量化
08-06 1208
Stable Baselines官方文档中文版 Github CSDN 尝试翻译官方文档，水平有限，如有错误万望指正 RL Baselines Zoo. 是一系列用Stable Baselines预训练的强化学习agents。它也提供用于训练、评估agents、微调超参数、记录视频的基础脚本。 这个版本库的目标： 提供一个简单界面用于训练和享用Rl agents 用基准测试不同强化学习算法 ...
Stable Baselines/用户向导/示例
漫步量化
07-31 5604
Stable Baselines官方文档中文版 Github CSDN 尝试翻译官方文档，水平有限，如有错误万望指正 先用Colab Notebook在线试试吧 下述所有示例都可用Google colab Notebooks执行： 开始 训练、保存、载入 多重处理 监视训练和及绘图 Atari游戏 强制退出（包括训练好的agent） 事后经历回顾 RL Baselines zoo ...
Docker监控之——DockerUI
05-19
DockerUI是一个Docker容器，用于监控和管理Docker主机上的容器。它提供了一个Web界面，可以方便地查看和管理Docker容器的状态和资源使用情况。 安装DockerUI非常简单，只需要执行以下命令： ``` docker run -d -p ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值