深入理解强化学习——动作空间（Action Space）

最新推荐文章于 2025-01-23 00:14:55 发布
最新推荐文章于 2025-01-23 00:14:55 发布
阅读量2.8k 收藏 6
点赞数 3
分类专栏： 深入理解强化学习 文章标签： 人工智能 强化学习 深度强化学习 机器学习 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hy592070616/article/details/133848380
版权

分类目录：《深入理解强化学习》总目录

不同的环境允许不同种类的动作。在给定的环境中，有效动作的集合经常被称为动作空间（Action Space）。像雅达利游戏和围棋（Go）这样的环境有离散动作空间（Discrete Action Space），在这个动作空间里，智能体的动作数量是有限的。在其他环境，比如在物理世界中控制一个智能体，在这个环境中就有连续动作空间（Continuous Action Space）。在连续动作空间中，动作是实值的向量。

例如，走迷宫机器人如果只有往东、往南、往西、往北这4种移动方式，则其动作空间为离散动作空间；如果机器人可以向360度中的任意角度进行移动，则其动作空间为连续动作空间。

参考文献：
[1] 张伟楠, 沈键, 俞勇. 动手学强化学习[M]. 人民邮电出版社, 2022.
[2] Richard S. Sutton, Andrew G. Barto. 强化学习（第2版）[M]. 电子工业出版社, 2019
[3] Maxim Lapan. 深度强化学习实践（原书第2版）[M]. 北京华章图文信息有限公司, 2021
[4] 王琦, 杨毅远, 江季. Easy RL：强化学习教程 [M]. 人民邮电出版社, 2022

PyTorch强化学习实战（1）——强化学习环境配置与PyTorch基础
盼小辉丶的博客
05-29 15万+
工欲善其事，必先利其器。为了更专注于学习强化学习的思想，而不必关注其底层的计算细节，我们首先搭建相关强化学习环境，包括 PyTorch 和 Gym，其中 PyTorch 是我们将要使用的主要深度学习框架，Gym 则提供了用于各种强化学习模拟和任务的环境。除此之外，本文还介绍了一些 PyTorch 的基础知识，以及 Gym 环境的使用方法，为之后的强化学习实战奠定基础。
在线学习的深度强化学习——Online Reinforcement Learning for Learning
AI天才研究院
09-01 3125
在人工智能和机器学习领域，深度强化学习（Deep Reinforcement Learning，DRL）已经成为一个备受关注的研究方向。传统的强化学习方法在处理高维状态空间和复杂决策问题时往往力不从心，而深度强化学习通过结合深度学习的强大表示能力，极大地扩展了强化学习的应用范围。然而，在实际应用中，我们常常面临着动态变化的环境和持续输入的数据流，这就要求学习算法能够实时地适应新的情况，不断调整和优化决策策略。在线学习（Online Learning）作为机器学习的一个重要分支，专门解决在。
强化学习——强化学习概述
LongXinKou的博客
01-25 9430
文章目录1. 强化学习2. 序列决策（Sequential decision making）3. 动作空间Reference 1. 强化学习 （1）定义 一个智能体（agent）怎么在一个复杂不确定的环境（environment）里面去极大化它能获得的奖励。 （2）过程 1: 智能体获取状态，并根据状态输出动作（决策） 2: 环境根据执行的决策输出下一状态和该决策获得的奖励 （3）强化学习与监督学习的比较 （1）强化学习输入的是序列数据，不满足独立同分布。 （2）强化学习无法得到立即反馈 （3）延迟奖励（
强化学习——Sarsa
深海沧澜的博客
11-19 413
1.Sarsa: 核心：拿下一步的Q值来更新这一步的Q值 sample（） 输入的为状态，输出的为动作。 再进行learn（）需要注意要先通过next_obs拿到next_action 2. 3.Sarsa与环境交互 3.1Sarsa Agent 根据Q表格选动作 3.2.更新Q表格 ...
强化学习中的连续动作空间与深度强化学习
AI天才研究院
01-24 968
1.背景介绍 1. 背景介绍 强化学习(Reinforcement Learning, RL)是一种机器学习方法，通过与环境的互动来学习如何做出最佳决策。在强化学习中，智能体通过收集奖励信息来学习如何在环境中取得最大化的累积奖励。强化学习的一个关键挑战是如何在高维连续动作空间中进行优化。 深度强化学习(Deep Reinforcement Learning, DRL)是一种结合了深度学习和强...
强化学习之混合动作空间
小吴同学的小屋
06-07 8353
在强化学习的动作空间设定中有连续动作空间，离散动作空间和混合动作空间。在大多数的论文中研究的都是连续动作空间和离散动作空间，而混合动作空间研究的比较少。在游戏ai，自动驾驶等一些领域中有时动作空间可以是混合动作空间，因此我阅读了一些相关的文献，资料和代码，计划整理一下混合动作空间中的一些基础知识（主要介绍parameterized action space）。考虑一个简单的场景，假设我们要写一个王者荣耀的游戏ai，我们需要控制英雄的走位，技能释放的方向，这些动作都是属于连续动作空间的。同时我们还需要选择不同
强化学习—— 离散与连续动作空间（随机策略梯度与确定策略梯度）
Cyrus_May的博客
04-12 1万+
强化学习—— 离散与连续动作空间（随机策略梯度与确定策略梯度）1. 动作空间1.1 离散动作空间1.2 连续动作空间 1. 动作空间 1.1 离散动作空间 比如:{left,right,up}\{left,right,up\}{left,right,up} DQN可以用于离散的动作空间（策略网络） 1.2 连续动作空间 比如：A=[0∘，180∘]∗[0∘,360∘]A=[0^{\circ} ，180^{\circ} ]*[0^{\circ} ,360^{\circ} ]A=[0∘，180∘]∗[0
强化学习入坑之路01
m0_37671786的博客
10-20 393
强化学习入坑之路01 经过了难得的双节的八天假期，我又回来继续爬坑了。八天的假期让自年初开始没回家的我终于可以在尝尝家里的饭菜了，本来处在减肥期的我在家期间也没有特别控制体重，回来还是增加近4斤的重量，不过在寡人的不懈坚持下终于回到了假前的水准，可喜可贺！ 好吧，扯远了，请忽略以上信息，下面进入正题。这次入坑的科目是强化学习，是我参加的DataWhale组队学习的第三次，这次的学习是视频加教程的学习形式，下面附上第一节的视频地址： 概括与基础 上 概括与基础 下 第一节的学习内容主要是基本情况介绍和概括，这
强化学习——OpenAI Gym——环境理解和显示
12-21
`env.action_space.n`给出了动作空间的大小，即动作的个数，这里是2。 `env.observation_space`则是环境的状态空间，表示智能体可以获得的观察信息。在CartPole的例子中，它是一个Box空间，表示状态是连续的数值。`...
DI-engine强化学习入门（十一）——多重离散动作空间示例代码分析
weixin_68094467的博客
05-03 1023
在传统的强化学习中，通常假设环境的动作空间是离散的，即代理可以选择的动作是有限且离散的。在这个示例中，md_space是一个二维的动作空间，第一个维度有2个动作，第二个维度有3个动作，总共有6个动作。接着，代码使用断言语句来验证环境的动作空间是否为离散动作空间，并检查动作空间的范围是否为0到5（共6个动作）。1) Arrow Keys（方向键）：离散5个动作，包括NOOP[0]，UP[1]，RIGHT[2]，DOWN[3]，LEFT[4]。这个动作空间的参数范围是0到1，最小值为0，最大值为1。
强化学习从基础到进阶-案例与实践[1]：强化学习概述、序列决策、动作空间定义、策略价值函数、探索与利用、Gym强化学习实验
2401_85325397的博客
08-01 1836
**强化学习（reinforcement learning，RL）** 讨论的问题是智能体（agent）怎么在复杂、不确定的环境（environment）中最大化它能获得的奖励。如图 1.1 所示，强化学习由两部分组成：智能体和环境。在强化学习过程中，智能体与环境一直在交互。智能体在环境中获取某个状态后，它会利用该状态输出一个动作 （action），这个动作也称为决策（decision）。然后这个动作会在环境中被执行，环境会根据智能体采取的动作，输出下一个状态以及当前这个动作带来的奖励。智能体的目的就是尽
【撕书系列DRL】CH2-动作空间设计
听了个听儿
05-18 579
好的动作空间会简化状态空间和回报函数的设计。
《深度强化学习落地指南》读书笔记2--动作空间设计
qq_34740266的博客
02-23 1272
该文章介绍了《深度强化学习落地指南》一书的第二章，动作空间设计相关内容，同时对相关内容做了一定思考，并给出自己的答案。
解读gym中的action_space和observation_space
热门推荐
JohnJim的博客
05-15 2万+
做强化学习的相关任务时通常需要获取action和observation的数目，但是单智能体和多智能体环境下的action_space等其实是不同的。 先看单智能体环境， print(env.action_space) print(env.observation_space) 打印相关的space，输出如下： Discrete(19) Box(115,) 其中Discrete(19)是action_space，19代表有19个action，它其实是一个类，并且继承一个Space类，所以不可能用n_acti
深度强化学习落地指南总结（二）-动作空间设计
CristianoC
10-14 3494
本系列是对《深度强化学习落地指南》全书的总结，这本书是我市面上看过对深度 强化学习落地讲的最好的一本书，大大拓宽了自己对RL落地思考的维度，形成了强化学习落地分析的一套完整框架，本文内容基本摘自这本书，有兴趣的读者可以点击文末链接自行购买。 作者对这本书的推荐序：https://zhuanlan.zhihu.com/p/403191691 2.1 动作空间设计：这里大有可为 2.1.1 被忽视的价值 关于动作空间的设计容易被大家忽视，因为Agent控制的方式往往在一开始就限制死，正如游戏玩家无法决定DOT
深度强化学习落地方法论（4）——动作空间篇
wyjjyn的博客
11-24 5545
在将DRL应用于实际项目时，可能最轻松愉快的部分就是动作空间定义了。倒不是因为这项工作简单，而是agent的控制方式往往早就定死了，留给我们发挥的空间很小。我们无法决定DOTA里允许多少种操作，也无法改变一台机器人的关节数量和各自的角度范围，Gym用户甚至从来没为这个问题操过心，action空间有几维，连续还是离散，各种domain早就定义好了，我们根据这些性质判断任务的难度，仅此而已。当然如果你...
强化学习的环境设计：如何构建实际场景
AI天才研究院
12-26 1292
1.背景介绍 强化学习(Reinforcement Learning, RL)是一种人工智能技术，它通过在环境中进行交互来学习如何做出最佳决策。强化学习的核心思想是通过在环境中进行交互来学习如何做出最佳决策。强化学习的主要组成部分包括代理(Agent)、环境(Environment)和动作(Action)。代理是一个可以学习和做出决策的实体，环境是一个可以与代理互动的系统，动作是代理在环境中执行...
策略空间和动作空间
最新发布
qq_42256930的博客
01-23 128
策略空间：强化学习中解决问题的解的空间集合。动作空间：是指所有的动作可能性的集合。
深度学习16-连续动作空间
clayhell的博客
01-09 1349
连续动作空间
Python 强化学习
01-21
### 关于Python中的强化学习 #### 强化学习简介与Q-Learning算法 在探讨Python中用于实现强化学习的方法时，可以从基本概念出发。强化学习是一种机器学习技术，在这种设置下，代理(agent)通过试错的方式学习如何在一个环境中采取行动以最大化累积奖励[^1]。 #### 使用OpenAI Gym库实践CartPole问题 为了更好地掌握这些理念的实际应用，可以通过构建一个简单的项目来进行练习。例如，利用Python和OpenAI Gym库实现了针对经典控制问题——CartPole的解决方案。在这个过程中，不仅加深了对于Q-learning这一价值迭代方法的理解，还熟悉了环境搭建以及评估模型性能的关键流程。 ```python import gym env = gym.make('CartPole-v0') for i_episode in range(20): observation = env.reset() for t in range(100): env.render() action = env.action_space.sample() # 随机选取动作 observation, reward, done, info = env.step(action) if done: print(f"Episode finished after {t+1} timesteps") break env.close() ``` 这段代码展示了怎样创建并运行一个名为`CartPole-v0`的游戏模拟器实例，同时演示了一些基础操作如重置游戏状态、渲染当前画面帧、执行随机选择的动作等。 #### 探索更多资源 除了官方文档外，还有许多在线课程提供了深入浅出的教学材料供进一步探索。比如由知名学者吴恩达教授主持的一系列有关深度学习与强化学习的公开课就包含了丰富的理论讲解和技术指导[^2]。 此外，《强化学习：原理与Python实战》这本书籍也值得推荐给那些渴望深入了解背后数学逻辑的学习者们；书中详细阐述了支撑该领域发展的核心定理及其推导过程[^3]。 最后值得注意的是，在实际开发过程中可能会遇到特定操作系统上的兼容性挑战。因此提前查阅相关指南（如Windows平台下的Gym库配置说明），可以帮助顺利解决问题[^4]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

von Neumann

您的赞赏是我创作最大的动力~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值