【撕书系列DRL】CH2-动作空间设计

最新推荐文章于 2023-10-15 21:48:43 发布
最新推荐文章于 2023-10-15 21:48:43 发布
阅读量490 收藏 1
点赞数
分类专栏： 增强学习 笔记 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012328476/article/details/124852738
版权

目录

动作空间常见类型

动作空间设计原则

动作空间常见类型

离散动作空间通常由有限数量的动作组成，一般包含所有特定任务中所有可用的控制指令。通常采用One-hot向量编码，每个编码位置对应一个动作，并且是完全互斥的关系。

连续动作空间大多数采用多维向量式动作编码，每个编码位置代表一个独立的控制参数，如速度、位置、力矩、电流等。

动作空间设计原则

完备性

动作空间能让agent在环境中充分探索到各种可能性，尤其保证最优解所在区域的良好可达性。

高效性

可以尝试将连续动作空间离散化，牺牲一部分精度换取高效。

合法性

任务是一系列规则描述的，而DRL其实是带约束条件的最优化问题。动作的选择需要遵守规则

夏殇0808
关注
专栏目录
深度强化学习落地方法论（4）——动作空间篇
wyjjyn的博客
11-24 5287
在将DRL应用于实际项目时，可能最轻松愉快的部分就是动作空间定义了。倒不是因为这项工作简单，而是agent的控制方式往往早就定死了，留给我们发挥的空间很小。我们无法决定DOTA里允许多少种操作，也无法改变一台机器人的关节数量和各自的角度范围，Gym用户甚至从来没为这个问题操过心，action空间有几维，连续还是离散，各种domain早就定义好了，我们根据这些性质判断任务的难度，仅此而已。当然如果你...
强化学习中的连续动作空间与深度强化学习
最新发布
程序员光剑
01-24 633
1.背景介绍 1. 背景介绍 强化学习(Reinforcement Learning, RL)是一种机器学习方法，通过与环境的互动来学习如何做出最佳决策。在强化学习中，智能体通过收集奖励信息来学习如何在环境中取得最大化的累积奖励。强化学习的一个关键挑战是如何在高维连续动作空间中进行优化。 深度强化学习(Deep Reinforcement Learning, DRL)是一种结合了深度学习和强...
《深度强化学习落地指南》读书笔记2--动作空间设计
qq_34740266的博客
02-23 961
该文章介绍了《深度强化学习落地指南》一书的第二章，动作空间设计相关内容，同时对相关内容做了一定思考，并给出自己的答案。
深入理解强化学习——动作空间（Action Space）
冯·诺依曼
10-15 1875
像雅达利游戏和围棋（Go）这样的环境有离散动作空间（Discrete Action Space），在这个动作空间里，智能体的动作数量是有限的。在连续动作空间中，动作是实值的向量。[2] Richard S. Sutton, Andrew G. Barto. 强化学习（第2版）[M]. 电子工业出版社, 2019。[4] 王琦, 杨毅远, 江季. Easy RL：强化学习教程 [M]. 人民邮电出版社, 2022。[1] 张伟楠, 沈键, 俞勇. 动手学强化学习[M]. 人民邮电出版社, 2022.
深度强化学习落地指南总结（二）-动作空间设计
CristianoC
10-14 2956
本系列是对《深度强化学习落地指南》全书的总结，这本书是我市面上看过对深度 强化学习落地讲的最好的一本书，大大拓宽了自己对RL落地思考的维度，形成了强化学习落地分析的一套完整框架，本文内容基本摘自这本书，有兴趣的读者可以点击文末链接自行购买。 作者对这本书的推荐序：https://zhuanlan.zhihu.com/p/403191691 2.1 动作空间设计：这里大有可为 2.1.1 被忽视的价值 关于动作空间的设计容易被大家忽视，因为Agent控制的方式往往在一开始就限制死，正如游戏玩家无法决定DOT
深度学习16-连续动作空间
clayhell的博客
01-09 1284
连续动作空间
超微x10drl-i说明书MNL-1566.pdf
07-17
1. **处理器支持**：X10DRL-i可能支持Intel的E5-2600 v3或v4系列处理器，提供多核处理能力，以实现高计算性能。 2. **内存扩展性**：通常配备多个DDR4内存插槽，允许用户配置大容量的RAM，以支持内存密集型应用。 ...
超微双路主板X10DRL-i主板参数说明书
11-27
超微双路主板X10DRL-i是一款高性能的服务器主板，专为数据中心、企业级应用和高性能计算而设计。该主板支持双路处理器配置，能够提供强大的计算能力，适用于各种工作负载，如虚拟化、大数据分析和云计算。 在这款...
超微X9DRL-IF主板加入NVME BIOS
10-08
超微X9DRL-IF主板加入NVME BIOS
x10drl-i.pdf
05-11
### 超微 X10DRL-i 使用说明书解析 #### 一、产品概述与版权信息 本手册为超微 X10DRL-i 的使用说明书，版本号为1.1b，发布日期为2020年2月24日。手册详细介绍了X10DRL-i的各项功能及使用方法。根据文档开头部分的...
深度强化学习——DQN
01-27
本文来自于csdn，本文章主要介绍了深度学习与强化学习结合起来从而实现从感知（Perception）到动作（ Action）的端对端（End-to-end）学习的一种全新的算法。 原因：在普通的Q-learning中，当状态和动作空间是离散且维数不高时可使用Q-Table储存每个状态动作对的Q值，而当状态和动作空间是高维连续时，使用Q-Table不现实。 通常做法是把Q-Table的更新问题变成
【学习笔记】Lesson5-连续动作空间上求解RL（强化学习7日打卡营-世界冠军带你从零实践）
Kevin Pang的博客
06-26 418
5.1 连续动作空间 tanh(x)用来限制输出的action范围在[-1,1]，最后需要根据实际情况缩放。 5.2 DDPG(Deep Deterministic Policy Gradient) 5.2.1 DQN➡DDPG DDPG除了需要学习Q网络，还需要学习策略网络。 5.2.2 Actor-Critic结构（评论家-演员） 策略网络——Actor 目标网络——Critic 目标网络(Target Network)&经验回放(Replay Memory) 5.3
混合动作空间｜揭秘创造人工智能的黑魔法（2）
m0_55289267的博客
06-15 280
本文则将以游戏环境为例，介绍如何对强化学习的动作空间进行预处理（action space shaping），以提升算法性能和收敛速度。
gym中的discrete类、box类和multidiscrete类
weixin_42301220的博客
11-20 8127
gym中的discrete类、box类和multidiscrete类 参考资料： 深度解析OPENAI-MADDPG 解读gym中的action_space和observation_space openai /multiagent-particle-envs 1.discrete类 Discrete类对应于一维离散空间 要定义一个Discrete类的空间只需要一个参数n就可以了 discrete space允许固定范围的非负数 2.box类 box类对应于多维连续空间 Box空间可以定义多维空
Reinforcement Learning 强化学习（一）
weixin_45397053的博客
07-12 3308
强化学习入门
强化学习：如何处理大规模离散动作空间
喜欢打酱油的老鸟
06-18 9100
https://www.toutiao.com/a6701973206141501964/ 在深度学习大潮之后，搜索推荐等领域模型该如何升级迭代呢？强化学习在游戏等领域大放异彩，那是否可将强化学习应用到搜索推荐领域呢？推荐搜索问题往往也可看作是序列决策的问题，引入强化学习的思想来实现长期回报最大的想法也是很自然的，事实上在工业界已有相关探索。因此后面将会写一个系列来介绍近期强化学习在搜索推...
强化学习总结——对于离散空间
Yawen1的博客
05-21 5720
什么是强化学习？强化学习（reinforcement learning）是一种重要的机器学习方法。所谓强化学习就是智能体从环境到行为映射的学习，目标是最大化期望积累奖励。强化学习广泛应用于无人驾驶汽车，棋类游戏和机器人等领域当中。强化学习不属于监督学习，也不属于非监督学习。基本概念阶段性任务：智能体与环境的互动在一个特定的时间步T结束连续性任务：智能体一直与环境互动没有限制强化学习目标：最大化期望...
gym中 MultiDiscrete用法
wyy74389的博客
04-06 3673
MultiDiscrete用于多维动作空间定义，例如： dim=10, dimm=10 space = MultiDiscrete([dim, dimm]) 表示的就是动作空间里面有两个位置需要你指定动作。第一个位置有10个选择，第二个位置也有10个选择。 print(space.sample()) 就会随机选择两个数，由此表示对应的动作 或者 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值