Pytorch深度强化学习1-1：Gym安装与环境搭建教程(附基本指令表)

已于 2023-07-01 10:15:17 修改
阅读量1.3w 收藏 171
点赞数 64
分类专栏： # Pytorch深度强化学习 Pytorch深度学习实战 文章标签： pytorch 深度学习 python 强化学习 机器学习
于 2023-04-20 09:33:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/FRIGIDWINTER/article/details/128400818
版权

目录

0 专栏介绍

本专栏重点介绍强化学习技术的数学原理，并且采用Pytorch框架对常见的强化学习算法、案例进行实现，帮助读者理解并快速上手开发。同时，辅以各种机器学习、数据处理技术，扩充人工智能的底层知识。

🚀详情：《Pytorch深度强化学习》

1 Gym介绍

强化学习是在潜在的不确定复杂环境中，训练一个最优决策指导一系列行动实现目标最优化的机器学习方法。自从AlphaGo的横空出世之后，确定了强化学习在人工智能领域的重要地位，越来越多的人加入到强化学习的研究和学习中。

OpenAI Gym是一个研究和比较强化学习相关算法的开源工具包，包含了许多经典的仿真环境(各种游戏)，兼容常见的数值运算库，使用户无需过多了解游戏的内部实现，通过简单地调用就可以用来测试和仿真。OpenAI Gym由以下两部分组成：

  • Gym开源库：测试仿真环境，这些环境有一个公共的接口且允许用户设计通用的算法
  • OpenAI Gym服务：提供一个站点和API，允许用户对他们的测试结果进行比较

在这里插入图片描述

2 Gym安装

gym中从简单到复杂，包含了许多经典的仿真环境：

  • 入门级：经典控制和文字游戏

在这里插入图片描述

  • 雅达利游戏：是雅达利游戏公司出品的小游戏合集，比入门游戏难度更高

在这里插入图片描述

  • 2D/3D的机器人：机器人仿真环境，需要利用第三方的物理引擎如 MuJoCo。

建议在虚拟环境中安装，虚拟环境相关知识请看：Anaconda安装与Python虚拟环境配置保姆级图文教程(附速查字典)

  • 激活虚拟环境

    conda activate pytorch

  • 安装gym相关库

    # 安装基本gym库，只含有入门级环境
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple gym
# 安装Box2D环境支持组件
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple gym[box2d]

  • 安装gym雅达利环境库

    pip install -i https://pypi.tuna.tsinghua.edu.cn/simple gym[atari]
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple autorom
AutoROM --accept-license

    需要注意，这里执行AutoROM --accept-license时可能较慢，是因为要进入外网下载游戏包，建议到atarimania.com直接下载Roms.rar并移动到路径~\Anaconda\envs\pytorch\Lib\site-packages\AutoROM\roms中，显示

    AutoROM will download the Atari 2600 ROMs.
They will be installed to:
        ~\Anaconda\envs\pytorch\Lib\site-packages\AutoROM\roms

Existing ROMs will be overwritten.
Installed ~\Anaconda\envs\pytorch\lib\site-packages\AutoROM\roms\adventure.bin
Installed ~\Anaconda\envs\pytorch\lib\site-packages\AutoROM\roms\air_raid.bin
Installed ~\Anaconda\envs\pytorch\lib\site-packages\AutoROM\roms\alien.bin
Installed ~\Anaconda\envs\pytorch\lib\site-packages\AutoROM\roms\amidar.bin
Installed ~\Anaconda\envs\pytorch\lib\site-packages\AutoROM\roms\assault.bin
...
Done!

    说明安装完成

  • 测试环境

    import gym

env = gym.make('Tennis-v4', render_mode="human")
print("Observation Space: ", env.observation_space)
print("Action Space       ", env.action_space)

obs = env.reset()
for i in range(1000):
    env.render()
    action = env.action_space.sample()
    obs, reward, done, info, _ = env.step(action)
env.close()

print(gym.envs.registry.keys())

3 基本指令

gym中最核心的接口就是env环境类，智能体与环境的交互如图所示，这就是强化学习的基本流程：在每个时间点上，智能体选择一个动作(action)，环境返回上一次action的观测(Observation)和奖励(Reward)

在这里插入图片描述
常用指令如下：

3.1 make()

作用：生成环境对象

'''
* @breif: 生成环境对象
* @param[in]: id            ->  启用环境的名称
* @param[in]: render_mode   ->  渲染模式
* @retval: 环境对象
'''
env = gym.make(id:str, render_mode:str)

通过make()创建完环境对象后，可以查看环境的属性和当前状态

env = gym.make('Tennis-v4', render_mode="human")
print('观测空间:', env.observation_space)
print('动作空间:', env.action_space)
print('动作数:', env.action_space.n)

>>> 观测空间: Box(0, 255, (210, 160, 3), uint8)
>>> 动作空间: Discrete(18)
>>> 动作数: 18

在gym的仿真环境中，有运动空间action_space和观测空间observation_space两个Space类型接口，用于描述有效的运动和观测的格式和范围

渲染模式支持：

  • human：在显示器或终端上渲染
  • rgb_array：返回像素图像的RGB阵列作为返回值
  • ansi：将文本作为返回值返回

3.2 reset()

作用：重置环境的状态，返回初始观测状态

'''
* @breif: 重置环境，回到初始状态
* @param[in]: seed	-> 随机种子
* @retval: 环境初始观测状态
'''
state = env.reset(seed=None)

查看reset()的状态信息

state = env.reset()
print("初始状态:", state)
print("当前状态:", env.state)

>>> 初始状态: (array([ 0.03745903, -0.02521806, -0.01444992, -0.01588714], dtype=float32), {})
>>> 当前状态: [ 0.03745903 -0.02521806 -0.01444992 -0.01588714]

在仿真开始前必须调用reset()以初始化环境。 seed可以指定环境的随机数种子，如果想要训练的再现性，或者想要根据不同的环境使用不同的随机数种子，可以使用该参数

3.3 step()

作用：单步执行环境动力学过程

'''
* @breif: 单步执行环境动力学过程
* @param[in]: 动作
* @retval: 五元组(当前状态, 奖励, 是否结束, 额外限制, 日志)
'''
state, reward, done, truncated, info = env.step(action)

查看五元组

for i in range(5):
    action = env.action_space.sample()
    state, reward, done, truncated, info = env.step(action)
    print('动作:', action, '当前状态:', state, '奖励:', reward, '是否结束:', done, '额外限制:', truncated, '日志:', info)

>>> 动作: 1 当前状态: [-0.01200642  0.18693487  0.02998236 -0.23828246] 奖励: 1.0 是否结束: False 额外限制: False 日志: {}
>>> 动作: 1 当前状态: [-0.00826773  0.38161597  0.02521671 -0.5213593 ] 奖励: 1.0 是否结束: False 额外限制: False 日志: {}
>>> 动作: 0 当前状态: [-0.00063541  0.18614829  0.01478953 -0.22083813] 奖励: 1.0 是否结束: False 额外限制: False 日志: {}
>>> 动作: 0 当前状态: [ 0.00308756 -0.00918191  0.01037276  0.07647308] 奖励: 1.0 是否结束: False 额外限制: False 日志: {}
>>> 动作: 0 当前状态: [ 0.00290392 -0.20445101  0.01190223  0.3724105 ] 奖励: 1.0 是否结束: False 额外限制: False 日志: {}

具体而言，五元组的含义如下：

  • 状态state：执行当前动作后环境转移到的状态，例如从相机获取的像素点，机器人各个关节的角度或棋盘游戏当前的状态等；
  • 奖励reward: 执行当前动作后智能体获得的奖励，不同环境中奖励值变化范围也不相同，但强化学习的目标就是使得总奖励值最大；
  • 是否完成done：表示是否需要将环境重置env.reset()。大多数情况下，当 done == true时就表明当前幕结束，例如当机器人摔倒或者掉出台面，就应当及时终止；
  • 额外限制truncated：表示是否满足额外的截断条件，通常是一个时间限制，但也可用于指示代理物理上超出界限，可用于在达到终端状态之前提前结束该幕
  • 信息info: 针对仿真调试过程的诊断信息

此外env.sample_space.sample()表示对动作空间进行随机采样，随机采样是gym内嵌的baseline策略，强化学习算法中的策略至少要比这个baseline效果好

3.4 close()

作用：关闭环境

4 常见问题

  1. ImportError: cannot import name 'NotRequired' from 'typing_extensions'

    解决方案：终端运行

    pip install typing-extensions --upgrade

参考资料

🔥 更多精彩专栏：


👇源码获取 · 技术交流 · 抱团学习 · 咨询分享 请联系👇
Mr.Winter`
关注
  • 64
    点赞
  • 踩
  • 171
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 30
    评论
专栏目录
订阅专栏
边做边学深度强化学习：PyTorch程序设计实践 迷宫 Q-Learning
09-02
边做边学深度强化学习：PyTorch程序设计实践 迷宫 Q-Learning
PyTorch强化学习——PyTorch+Gym强化学习环境搭建
AAI666666的博客
01-31 2064
工欲善其事，必先利其器。为了更专注于学习强化学习的思想，而不必关注其底层的计算细节，我们首先搭建相关深度学习环境，主要包括 `Python` 以及 `PyTorch`。
Python人工智能库之gym使用详解
最新发布
Rocky006的博客
03-20 917
在现代人工智能领域中，强化学习是一种强大的学习方法，而 Python 的 Gym 库则是这一领域的理想工具之一。Gym 提供了一个开放的环境，让开发者可以轻松地进行强化学习算法的实验和测试。本文将深入探讨 Gym 库的特性、用法，并通过丰富的示例代码展示其在实际项目中的应用。
强化学习实践（二）Gym（安装、环境搭建、运行倒立摆（代码可运行））
weixin_48878618的博客
10-04 1348
1.2.3.4.
深度强化学习-Pytorch环境配置
weixin_46133643的博客
01-24 6644
引言 “工欲善其事，必先利其器”，环境配置是开展Coding的第一步。我用过TensorFlow和Pytorch两种深度学习框架，对比下来更喜欢Pytorch。如果有小伙伴纠结使用哪个框架，我更加推荐Pytorch。本文主要跟大家讲解一下如何搭建Pytorch环境。 1 安装Anaconda 通过Anaconda3，我们可以创建多个不同的Python环境，并且控制Python版本。大家可以直接去Anaconda官网下载，不过建议去Aanconda清华镜像源下载，下载速度更快。我用的是Anaconda3
【强化学习】gym安装教程
IT菜鸟
12-12 1万+
一、参考资料 强化学习实战 第一讲 gym学习及二次开发 二、配置环境 1. 安装 Anaconda，创建anconda虚拟环境，参考我的另外两篇博客 Anaconda3在windows下的安装与简单使用 Anaconda在Ubuntu下的安装与简单使用 2. 激活进入 anaconda 虚拟环境 >> source activate gymlab 3. 从 github下载gym官方源码 gym官方源码 4. 进入gym源码文件夹，安装一系列包 >>.
Python库 | gym-0.5.2.tar.gz
03-07
python库。 资源全名：gym-0.5.2.tar.gz
强化学习笔记：Gym入门--从安装到第一个完整的代码示例
chenxy_bwave的专栏
01-21 4万+
​Gym库(https://gym.openai.com) 是OpenAI推出的强化学习实验环境库。它用Python语言实现了离散之间智能体-环境接口中的环境部分。本文中“环境”一次均指强化学习基本框架模型之“智能体-环境”接口中的“环境”，每个环境就代表着一类强化学习问题，用户通过设计和训练自己的智能体来解决这些强化学习问题。所以，某种意义上，Gym也可以看作是一个强化学习习题集！ 本文介绍gym入门所需要必要最小知识集合，并以一个完整的代码示例结束。
【windows系统anaconda下gym环境搭建】新手向手把手细致讲解
liaoge666的博客
10-15 3108
今天来用一篇文章说明讲解一下小白如何零基础，在windows系统下的anaconda下安装搭建gym环境，对新手十分友好，也欢迎大家在评论区一起讨论解决问题。
深度强化学习极简入门与Pytorch实战
10-18
强化学习作为行为主义人工智能学派的典型代表，近几年与深度神经网络相结合形成的深度强化学习(DRL)，达到了令人惊叹的智能水平：2015年DQN智能体玩视频游戏超越人类水平，2017年基于PPO算法的Open Five在《Dota》游戏中战胜人类顶尖职业玩家，2019年基于DRL的AlphaStar在《星际争霸II》游戏中战胜人类顶尖职业玩家。深度强化学习为通用人工智能(AGI)带来了新的希望！ 然而，深度强化学习理论较为抽象，学习曲线陡峭，需要大量的时间和精力才能入门，很多硕士和博士往往浪费了大量时间在入门阶段，耽误了学习和科研进度。 本门课程的特点之一：精炼而不失重点。本门课程深入浅出，根据多年深度强化学习科研和项目实践经验，选取了强化学习入门所必须掌握的知识点，为学员构建一个最小而必要的强化学习知识体系，为后续的研究和论文专业以及工程实践打下坚实的基础。 本门课程的特点二：强调实战。为每个知识点精心设计设计编程实践练习，让学员在练习中理解和掌握知识点。课程设计了综合实战项目——开发强化学习智能体并参加强化学习比赛，提供竞赛baseline代码。
强化学习基础05——gym
qq_40694497的博客
01-28 5258
OpenAI gym OpenAI gym是强化学习最常用的标准库，如果研究强化学习，肯定会用到gym。 gym有几大类控制问题，第一种是经典控制问题,比如cart pole和pendulum。 Cart pole要求给小车一个左右的力，移动小车，让他们的杆子恰好能竖起来,pendulum要求给钟摆一个力,让钟摆也恰好能竖起来。 第二种是你最常见的Atari games,小时候在小霸王游戏机上玩的。pong里面的agent是这个乒乓球拍,你让球拍上下运动目标是接住对手的球，并且让对手..
深度学习 - 搭建pytorch深度学习环境.pdf
03-01
Torch是一个用于深度学习的=数学计算库，而Pytorch则是一个基于Torch的Python机器学习库，可看作其提供了Torch应用于Python的接口。而搭建Pytorch虚拟环境，通俗地讲，就是搭建一个包含了Pytorch的相关包的Python解释器的环境，即是专门用于处理基于Python的深度学习的问题的环境。
深度学习与PyTorch入门实战教程-网盘链接和密码-永久有效-详细教程
06-11
这是一套深度学习与PyTorch入门实战教程，适合学习深度学习的学者和PyTorch学习者，由于视频比较大只能通过网盘分享，上传的文件里是网盘链接和密码。章节包括以下内容：01 介绍；02 深度学习初见；03 基础张量操作...
PyTorch深度学习迷你教程-python
06-18
深度学习（使用 PyTorch）这个笔记本存储库现在有一个配套网站，所有课程材料都可以在视频和文本格式中找到。 :United_Kingdom: :China: :South_Korea: :Spain: :Italy: :Turkey: 入门 为了能够进行练习，您需要一...
Federated-Learning-PyTorch:实施基于分散数据的深度网络通信高效学习
05-06
联合学习（PyTorch） 香草联合学习论文的实施：。 在MNIST，Fashion MNIST和CIFAR10（IID和非IID）上进行了实验。 在非IID的情况下，用户之间的数据可以相等或不相等地分割。 由于这些实验的目的是说明联合学习范例...
强化学习实战（一）强化学习环境-Gym安装到使用入门
热门推荐
小小何先生的学习之旅
08-28 5万+
强化学习实战（一）强化学习环境-Gym安装到使用入门
Gym 简明教程【1. Basic Usage v0.26.2版本】
Shen Mu Xin's Blog
08-07 548
我们可以注册一个环境，然后我们可以查看一下这个环境的一些信息，比如action space或者state space等。可以看出，该环境的动作空间是离散的且只有两个动作，状态包含了一些数据，奖励范围是从正无穷到负无穷。如果在构建的时候指定显示渲染，那么则可以看到有游戏图像出现。下面介绍常用的强化学习范式。常用的method包括。
【强化学习探索01】Win10 下gym安装
Lccca的博客
03-29 1万+
一、序言 ⾸先， gym 是 OpenAI 开发的通⽤强化学习算法测试平台， 背后有⼤神 Pieter Abbeel、 Sergey Levine 等⼈率领的强⼤团队的⽀持。其次， 学会了gym的基本应⽤， 可以⾃⼰学习使⽤OpenAI的其他开源强化学习软件， 如universe、 roboschool 和baselines等。再次， gym本⾝集成了很多仿真环境， 如经典控制中的⻋摆环境，⼩⻋爬⼭环境、 雅达利游戏、 棋盘环境等。 利⽤这些写好的环境， 可以学习强化学习算法的基本原理。 另外， gym是
【一】gym环境安装以及安装遇到的错误解决
丨汀、的博客
04-08 1万+
1.gym模块的安装 运行命令窗口，输入cmd 在命令行中输入： pip install gym -i https://pypi.douban.com/simple 镜像源地址可参考：tensorflow安装、常用python镜像源、tensorflow 深度学习强化学习教学 pip install “ 你需要安装的包” -i https://pypi.douban.com/simple 即可安装成功 当然当你系统中存在自己创建环境，可以打开anaconda,输入...
pytorch 深度强化学习
08-24
Pytorch是一个深度学习框架，可以用于实现深度强化学习方法。在Pytorch中，你可以使用Tensor张量来表示和处理数据。这个框架提供了许多常用的API，帮助你快速实现深度学习模型。然而，请注意，Pytorch的深度强化学习部分并不是本章的重点，它假设读者已经具备了基本的深度学习知识。所以如果你想深入学习深度强化学习，我建议你阅读《Deep Reinforcemnet Learning Hands-on》这本书，它是一本深入浅出的深度强化学习教程，对这个领域的内容进行了详细的介绍和解释，并提供了一些实际的代码示例。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [【深度强化学习】深度学习：Pytorch的使用](https://blog.csdn.net/weixin_39274659/article/details/106902639)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 30
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Mr.Winter`

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值