带有action mask动作掩码的PPO算法（附代码实现）

最新推荐文章于 2025-04-20 18:19:00 发布
最新推荐文章于 2025-04-20 18:19:00 发布
阅读量4.7k 收藏 31
点赞数 8
文章标签： 强化学习 PPO算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ningmengzhihe/article/details/131515927
版权
文章探讨了在使用PPO算法解决实际问题时，如何处理受限动作的挑战。介绍了两种解决方案，特别是动作掩码行动，它通过在Actor网络输出上应用掩码来确保仅考虑合法动作。在PPO算法的实现中，动作掩码在选择动作和训练阶段都至关重要。文章提到了在实现动作掩码时遇到的神经网络输出nan的问题，并推荐使用`torch.distributions.Categorical`库来避免这个问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Actor神经网络输出的动作概率是全部动作的概率，而在应用PPO算法解决实际问题的时候，经常会遇到动作action受到限制的情形，也就是部分动作action是合理的，智能体动作采样select_action的时候也就只能从那些合理的动作action集合中采样。

常见的解决方案有两种，一种是给非法动作action增加惩罚奖励，另一种是动作掩码action mask。动作掩码action mask的基本想法是，给actor神经网络输出的动作概率加上一层掩码，合法动作的掩码是1意味着输出对应的动作概率， 非法动作的掩码是0意味着不输出对应的动作概率。

下面逐渐介绍动作掩码action mask原理以及在PPO算法上的实现，以截取几份讲解中肯的参考资料关键部分的形式进行介绍~

一般而言，动作掩码action mask方法相比于方法一训练时给非法action增加penalty的做法，效果要好很多（参考资料：DRL算法落地笔记 - 知乎 https://zhuanlan.zhihu.com/p/412520739）
在这里插入图片描述

动作掩码action mask原理讲解

强化学习中无效动作应该如何屏蔽(mask)处理? - 知乎 https://zhuanlan.zhihu.com/p/538953546
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

PPO算法使用动作掩码action mask的方法

以离散动作的PPO算法为例，Actor网络输出仍然是全部动作的动作概率，有两处需要增加动作掩码action mask，一处是选择动作select action采样时候，另一处是训练actor网络，经常容易忘记的是第二处训练actor网络的时候也是同样要带上采样时的action mask（参考资料：腾讯人工智能绝悟的action mask是什么意思？ - 知乎 https://www.zhihu.com/question/446176024#）
在这里插入图片描述

动作掩码action mask代码实现

最初，我在实现动作掩码action mask的时候，是这样操作的：采样时logits层非法action对应位置换成一个绝对值很大的负数，再经过softmax函数以后非法动作的概率就变成0（参考资料：Softmax如何进行mask操作 - 知乎 https://zhuanlan.zhihu.com/p/543736799）。它会遇到报错：神经网络输出nan。一般来说，神经网络输出nan大概是因为梯度更新时除数遇到0、log函数遇到0的原因。

解决方法是不使用手工的softmax函数，采用torch.distributions.Categorical自带函数库（参考资料：PPO 实践指南 - 知乎 https://zhuanlan.zhihu.com/p/627389144）

参考资料

特别感谢以上参考资料博主的真诚分享！！！

大语言模型应用指南：自主Agent系统的基本组成
AI天才研究院
08-06 875
大语言模型应用指南：自主Agent系统的基本组成 1. 背景介绍 1.1 人工智能的发展历程 1.2 大语言模型的兴起
大语言模型应用指南：自主Agent系统简介
AI天才研究院
08-08 460
大语言模型应用指南：自主Agent系统简介 1. 背景介绍 1.1 大语言模型的发展历程 1.1.1 早期的语言模型
深度强化学习中的动作屏蔽（Action Masking）
Kiek17的博客
11-22 3674
在复杂环境中使用动作屏蔽，实现更好的训练效果
强化学习中的MASK掩码约束动作action
普通攻击往后拉的博客
07-13 9532
在强化学习解决问题的场景中，动作是体现学习效果最直接的因素，直接影响了智能体下一步的走向和对环境状态的改变。在应用强化学习解决实际问题时，往往不同于gym库中倒立摆那样的情况，而是存在很多的约束。例如，在ttt时刻智能体可选的动作为1,2,31,2,31,2,3，但是在t+1t+1t+1时刻只能选1,21,21,2，333处于不可用的状态。在这种情况下，就需要借助掩码mask来对智能体的动作进行处理。 有人会疑问：就不能制定相应的奖励函数使得智能体学习到这种约束吗？ 这样做是可以的，但是付出的训练代价很大，
多点触控之MotionEvent.ACTION_MASK作用
qiangainannan的专栏
10-23 969
http://blog.sina.com.cn/s/blog_4e60b09d01011rva.html
action actionMasked 区别
qq_34224268的博客
12-14 2704
本文仅介绍 MotionEvent中 action actionMasked两者在使用上的区别 相同点： 都表示此次MotionEvent的事件类型-手指按下/移动/抬起 不同点： action 无法直接识别第二根手指的按下与抬起，而 actionMasked 可以。action 的类型有 按下、移动、抬起，而 actionMasked 有额外两种类型： ACTION_POINTER_DOWN - “已经有手指按着了，又按下了新手指” ACTION_P...
多点触控之MotionEvent.ACTION_MASK的作用
baidu_24743861的博客
07-08 1028
多点触控之MotionEvent.ACTION_MASK的作用
Android 多点触控实践解析及加入MotionEvent.ACTION_MASK的原因
rainy_day_2014的专栏
04-09 850
Android 多点触控实践解析及加入MotionEvent.ACTION_MASK的原因    把之前学过的东西都打包，方便以后调用。     今天来个多点触控的，其实挺简单。     网上教程大把。不过自己能体会才是自己的。写写自己的体会。     第一个主要的点是Activity中的onTouchEvent（MotionEvent event）；     Overrid
DeepSeek 代码生成与自动化测试深度实践：从算法优化到工程落地的技术全解析
每天与代码斗智斗勇的秃头攻城狮，用技术干货换您的打赏续命。
03-31 746
通过以上技术实践，开发者可系统性提升代码生成与自动化测试的效率和质量。建议采用 “分层解耦 + 增量迭代” 策略，优先实现核心功能的自动化，再逐步完善安全、合规等辅助模块。结合行业特性进行定制化开发，可在 6-12 个月内实现开发效率提升 300% 以上。DeepSeek CodePro-16B 在 CodeXGLUE 基准测试中取得 14.3 BLEU 值，超越 GitHub Copilot 2.1 个百分点。
可变动作空间 VLA 全解析：从 AlphaStar 到 Toolformer 的建模演进与实战经验
最新发布
在信息的熵增中，记录结构、重建秩序。 技术思想者的笔记，系统构建者的注释。
04-20 577
动作空间一直是智能体系统中的“决策核心”，但当动作集合的数量在每一轮都变化时，事情就没那么简单了。这种被称为 **VLA（Variable-Length Action space）** 的结构，不仅打破了传统策略建模的假设，还挑战了语言模型与行为模型的协同机制。从 AlphaStar 的 mask 策略，到 Toolformer 的指针调用，再到多模态系统中的工具集合动态调度，VLA 正在成为新一代智能体架构的关键设计问题。本文将用实战视角，带你拆解 VLA 的结构难点、主流建模思路与落地路径，结合实际系统
【论文研读】MARLlib 的架构分析
Achang的博客
08-09 814
和尚念经多智能体强化学习框架研究。多智能体强化学习库。多智能体强化学习算法实现。多智能体强化学习环境的统一化，标准化。多智能体强化学习算法解析。多智能体强化学习 算法性能比较。
达“超人”水平？强化学习得这么用！
CSDN资讯
02-09 1762
【CSDN 编者按】AI 风暴影响已然持续，AI 依旧是行业内炙手可热的词汇，因此，想进军 AI 领域的你，是否做好了充足的准备呢？英文标题：To Learn Deep Reinforce...
Lee Hung-yi强化学习 | (5) Q-learning用于连续动作 (NAF算法)
sdu_hao的博客
09-02 767
Lee Hung-yi强化学习专栏系列博客主要转载自CSDN博主 qqqeeevvv，原专栏地址 课程视频 课件地址 普通的Q-learning比policy gradient比较容易实现，但是在处理连续动作（比如方向盘要转动多少度）的时候就会显得比较吃力。 因为如果action是离散的几个动作，那就可以把这几个动作都代到Q-function去算Q-value。但是如果action是连续的，此时action就是一个vector，vector里面又都有对应的value，那就没办法穷举所有的action去算Q-
开源项目 `invalid-action-masking` 使用教程
gitblog_01196的博客
08-16 645
开源项目 invalid-action-masking 使用教程 invalid-action-maskingSource Code for A Closer Look at Invalid Action Masking in Policy Gradient Algorithms项目地址:https://gitcode.com/gh_mirrors/in/invalid-action-maski...
【RL论文精读3】Mastering Complex Control in MOBA Games with Deep Reinforcement Learning
m0_73545851的博客
09-08 1272
这篇文章聚焦于使用深度强化学习（DRL）开发AI代理，以处理多人在线战术竞技场（MOBA）1v1游戏中复杂的动作控制，具体以《王者荣耀》游戏为例。作者提出了一个可扩展的DRL框架，并结合了几种新颖的策略来有效训练AI代理
论文阅读：《Hybrid Code Networks》
weixin_44385551的博客
11-13 809
论文阅读：《Hybrid Code Networks: practical and efficient end-to-end dialog control with supervised and reinforcement learning》 目录论文阅读：《Hybrid Code Networks: practical and efficient end-to-end dialog contr...
强化学习经典算法笔记(十一)：近端策略优化算法（PPO）实现，基于A2C（上）
hhy_csdn的博客
06-30 6041
强化学习经典算法笔记(十一)：近端策略优化算法（PPO）实现，基于A2C PPO算法是一种On-policy算法，可以被用于连续空间任务和离散空间任务。在OpenAI发表的PPO原始论文中，关于新旧策略的相似程度，有两种处理办法，一个是Penalty，一个是Clip。 Penalty是将新旧策略的KL散度作为一个罚项加入到目标函数中，避免了TRPO中的那种硬性约束。Clip是将新旧策略做比值，将这一比值限制在一定范围，如[0.8,1.2][0.8,1.2][0.8,1.2]。论文实验和实际使用经验都表明PP
强化学习 PPO算法和代码
TuringEvo专栏
08-14 1098
强化学习PPO
人人都能看懂的PPO原理与源码解读
zenRRan的博客
02-09 2584
来自：大猿搬砖简记大家好，最近我又读了读RLHF的相关paper和一些开源实践，有了一些心得体会，整理成这篇文章。过去在RLHF的初学阶段，有一个问题最直接地困惑着我：如何在NLP语境下理解强化学习的框架？例如，我知道强化学习中有Agent、Environment、Reward、State等要素，但是在NLP语境中，它们指什么？语言模型又是如何根据奖励做更新的？为了解答这个问题，我翻阅了很多资料，...
File "E:\版本特性演进\22_V900\仿真实现\Mop_Master\Mop_Simulation_Master\Mop_Refactor\DeepLearning.py", line 105, in act return available_actions[torch.argmax(available_q).item()] ^^^^^^^^^^^^^^^^^^^^^^^^^ IndexError: argmax(): Expected reduction dim to be specified for input.numel() == 0.
04-16
<think>好的，我现在需要解决用户提到的两个Python错误：IndexError和torch.argmax的维度问题。用户提到在处理available_actions时出现这些错误，特别是在使用torch.argmax时。我需要结合用户提供的引用中的信息，尤其是引用[4]提到的数组越界问题，以及引用[1]和[2]中的PyTorch版本问题。 首先，关于IndexError，用户的问题是在访问self.available[action]时出现索引越界。可能的原因包括action的值超出了available列表的长度，或者available列表在更新过程中出现错误。根据用户之前提供的解决方案，动作验证和动态映射是关键。需要检查在获取动作之前是否正确地更新了available_actions，并且是否在应用动作前验证了其有效性。 其次，关于torch.argmax的错误，用户提到“Expected reduction dim to be specified for input.numel() == 0”。这表明当available_actions为空时，试图对一个空张量执行argmax操作。例如，如果available_actions_mask全为False，那么可用的动作张量可能为空，导致argmax无法找到有效的维度。需要确保在这种情况下有备用方案，比如随机选择或者默认动作，避免处理空张量。 接下来，结合用户提供的引用，引用[4]提到数组越界是常见错误，所以需要检查所有可能的越界情况。例如，在动态环境中，available_actions可能会随着时间变化，如果在选择动作后没有及时更新，可能导致后续步骤中的索引错误。此外，PyTorch版本问题（引用[1]和[2]）可能导致某些函数行为异常，但用户的问题更可能与代码逻辑有关，而非版本兼容性，不过也不能完全排除。 可能的解决方案包括： 1. 在应用argmax之前，确保available_actions_mask中有至少一个True值，避免空张量。 2. 使用掩码技术过滤无效动作，确保argmax只在有效动作中选择。 3. 添加异常处理机制，当没有可用动作时，进行适当处理，如结束当前episode或选择默认动作。 4. 检查动作选择逻辑，确保在每一步都正确更新available_actions，并在选择动作时验证索引的有效性。 现在需要将这些思路整理成结构化的步骤，提供代码示例，并确保引用相关的文献。例如，使用动作掩码（如用户之前提到的PPO示例）来过滤无效动作，并在计算logits时将无效动作设为负无穷，这样argmax会自动选择有效动作。同时，在环境中更新可用动作列表时，确保使用拓扑排序（引用[3]提到的Kahn算法）来保证准确性。 最后，生成相关问题，帮助用户进一步理解和解决类似问题，比如如何验证动作掩码的正确性，如何处理动态动作空间等。</think>针对Python代码中出现的`IndexError`和`torch.argmax`维度错误，以下是分步解决方案： --- ### **错误原因分析** 1. **IndexError: list index out of range** - 直接原因：`action`的取值超过`available_actions`的有效索引范围 - 典型场景： - 动作选择逻辑未过滤无效动作 - 动态环境中可用任务列表`available`更新不及时[^4] 2. **torch.argmax维度错误** - 直接原因：对空张量（`input.numel() == 0`）调用`argmax` - 典型场景： - `available_actions`为空时未处理边界情况 - 未正确指定`dim`参数 --- ### **解决方案与代码实现** #### **一、动态动作掩码技术** ```python import torch def select_action(q_values, available_mask): """ q_values: 原始动作价值张量，shape=[batch_size, action_space] available_mask: 布尔掩码，True表示有效动作，shape=[batch_size, action_space] """ # 无效动作赋极小值 masked_q = q_values.masked_fill(~available_mask, -float('inf')) # 确保至少有一个有效动作 if torch.all(~available_mask): raise RuntimeError("No available actions to select!") # 选择有效动作中的最大值索引 action = torch.argmax(masked_q, dim=1) # 必须指定dim参数 return action ``` #### **二、环境状态更新验证** ```python class DAGEnv: def __init__(self, tasks): self.tasks = tasks self.available_actions = self._get_available_actions() def _get_available_actions(self): """通过拓扑排序获取有效动作""" # 使用Kahn算法实现拓扑排序[^1] return [task.id for task in self.tasks if task.is_available()] def step(self, action): # 验证动作有效性 if action not in self.available_actions: raise IndexError(f"Action {action} not in available list {self.available_actions}") # 执行任务调度 self._execute_task(action) # 更新可用动作列表 self.available_actions = self._get_available_actions() return next_state, reward, done, info ``` #### **三、完整错误处理流程** ```python def training_loop(env, model, episodes=1000): for episode in range(episodes): state = env.reset() done = False while not done: # 生成动作掩码 available_mask = torch.BoolTensor([i in env.available_actions for i in range(env.action_space)]) # 策略网络前向计算 q_values = model(state) try: action = select_action(q_values, available_mask) next_state, reward, done, info = env.step(action.item()) except RuntimeError as e: print(f"Episode terminated: {e}") done = True break except IndexError as e: print(f"Invalid action detected: {e}") # 回退到随机有效动作 valid_actions = torch.nonzero(available_mask).flatten() action = valid_actions[torch.randint(0, len(valid_actions), (1,))] next_state, reward, done, info = env.step(action.item()) ``` --- ### **关键优化点** 1. **掩码生成验证** - 在调用`argmax`前检查掩码有效性： ```python assert available_mask.any(), "Mask must contain at least one True value" ``` 2. **维度明确性** - 始终指定`dim`参数： ```python torch.argmax(input, dim=1) # 对二维张量按行取最大值 ``` 3. **版本兼容性检查** - 验证PyTorch版本与序列化方法： ```python if torch.__version__ >= '1.6.0': torch.save(model.state_dict(), "model.pth", _use_new_zipfile_serialization=False) # [^1] ``` --- ### **相关问题** 1. 如何验证动作掩码与Q值的对齐性？ 2. 拓扑排序算法在动态任务调度中的实现细节？ 3. PyTorch中如何处理高维张量的argmax操作？ 4. 如何设计强化学习的奖励函数以避免局部最优？ --- 通过结合动态掩码验证、维度明确指定和异常处理机制，可有效解决索引越界和空张量操作问题。若需进一步调试，建议使用`torch.debug_mode()`检查张量维度[^2]。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值