maddpg 复现过程中遇到的问题

已于 2024-04-03 11:58:33 修改
阅读量1.1k 收藏
点赞数 1
分类专栏： 强化学习 文章标签： 深度学习 python 人工智能
于 2023-02-17 16:34:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CAIYUNFREEDOM/article/details/129089476
版权
最近在复现论文Multi-Agent Actor-Critic for Mixed
Cooperative-Competitive Environments
跑代码遇到一些错误。

RuntimeError: Found dtype Double but expected Float

将代码中的类型替换后，又出现错误
RuntimeError: Found dtype Float but expected Double 

RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation: [torch.cuda.FloatTensor [256]] is at version 3; expected version 2 instead. Hint: enable anomaly detection to find the operation that failed to compute its gradient, with torch.autograd.set_detect_anomaly(True).

最后将pytorch降级搞定了，不用改啥代码。

降级先删除现有的。再安装降级后的。

pip list

pip uninstall torch

pip install torch==1.4.0

pettingzoo

一小时实践入门 PettingZoo - 知乎


 

彩云的笔记
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
【二】MADDPG多智能体算法实现(parl)【追逐游戏复现】
丨汀、的博客
03-29 1万+
论文全称：Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments 论文原文：https://download.csdn.net/download/sinat_39620217/16203960 论文翻译：https://blog.csdn.net/qiusuoxiaozi/article/details/79066612 ...
pycharm复现pysot遇到的问题汇总.docx
05-25
PyCharm 中 PySOT 遇到的问题汇总 一、环境配置问题 在使用 PyCharm 时，遇到了多种环境配置问题。首先，在 Run-Edit Configurations 中进行环境配置，需要保留 Activate tool window 的对勾，以避免错误的程序。...
从代码到论文理解并复现MADDPG算法(基于飞桨的强化学习套件PARL)
热门推荐
zbp_12138的博客
07-19 2万+
MADDPG算法是强化学习的进阶算法,在读对应论文Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments的过程中,往往会遇到很多不是很好理解的数学公式,这篇文章旨在帮助读者翻过数学这座大山,从PARL的代码理解MADDPG算法。 把MADDPG拆分成多个算法 什么是多智能体?有哪些环境? 从PARL的代码解读MADDPG 复现“老鹰捉小鸡”的游戏环境 回归论文 1. 把MADDPG拆分成多个算法MADDPG的全称是
PyTorch中由loss.backward()出现错误“RuntimeError: Found dtype Double but expected Float”
weixin_46557333的博客
05-25 379
错误信息 类型错误, 计算loss值的函数传入的参数类型不统一。 解决方法 查看上文loss计算代码部分的参数类型，如loss=f.mse_loss(out,label)，检查out和label的类型都是torch.float类型即可。使用label.dtype查看tensor的类型。
MADDPG算法复现出现的问题：1.除simple环境以外其他环境跑不通
cuilllinn的博客
05-24 1519
适用情况：博主将安装环境按照网上各大博客设置好，能够跑通simple场景的程序，但是代码14行换其他场景，就出错。具体出错内容如下找了该问题的解释：比如https://blog.csdn.net/Z645817/article/details/105118336/（考虑到每个人的问题可能涉及到不同方面，所以列出） https://www.manongdao.com/article-1575366.html等等， 但是都没有解决。最终如下：将程序所在根目录（比如程序在E盘某子文件夹，就在E盘根目录找）找到
MADDPG算法除simple环境以外其他环境跑不通
我太南了
06-16 304
MADDPG算法复现出现的问题：1.除simple环境以外其他环境跑不通 转自：https://blog.csdn.net/cuilllinn/article/details/117229413 适用情况：博主将安装环境按照网上各大博客设置好，能够跑通simple场景的程序，但是代码14行换其他场景，就出错。具体出错内容如下找了该问题的解释：比如https://blog.csdn.net/Z64
pytorch报错记录
jocker_775065019的博客
03-24 5162
1、RuntimeError: CUDA error: device-side assert triggered 具体报错信息： /pytorch/aten/src/THC/THCTensorScatterGather.cu:188: void THCudaTensor_scatterFillKernel(TensorInfo<Real, IndexType>, TensorInfo<long, IndexType>, Real, int, IndexType) [with Inde
【Pytorch】BUG RuntimeError: Found dtype Long but expected Float
littlemichelle
10-13 1万+
说明此时需要float型数据，但识别到long型数据,此时需要对入参和出参做一下类型转换 output=output.to(torch.float32) target=target.to(torch.float32) 举例 output =net(input) target = variable(t.arange(0,10)) #the point output=output.to(torch.float32) target=target.to(torch.float32) criterion
关于复现RfD-Net过程中所遇到的问题（Ubuntu）
06-13
关于复现RfD-Net过程中所遇到的问题（Ubuntu）
iou的计算及代码复现过程
最新发布
07-18
iou的计算及代码复现过程
unet论文中weightloss复现
03-27
在复现过程中，需要注意以下几点： - 确保输入数据格式正确，与模型的输入层兼容。 - 检查权重矩阵是否反映了期望的注意力区域。 - 调整超参数，如学习率、批量大小等，以优化训练性能。 - 观察并记录损失函数的收敛...
Python-pytorch实现MADDPGmultiagentdeepdeterministicpolicygradient
08-10
pytorch实现MADDPG (multi-agent deep deterministic policy gradient)
强化学习：Actor-Critic、SPG、DDPG、MADDPG
Hellsegamosken
12-01 1859
DQN 或者 DDPG 都不适用于多智能体环境，主要的问题是在训练过程中每个智能体的策略都在变化，因此从每个智能体的角度来看，环境变得十分不稳定。即对于同一个 observation，执行相同的 action 得到的 reward 不同，环境的真实状态可能天差地别，进而导致 q 值的估计很不稳定，也就不能给出 action 的正确梯度。 我们想要让 Critic 的评判更全面，就需要给它更多的信息，比如其他智能体的状态和动作等，让对于某个 agent 的环境变成完全可观察的。MADDPG 的思想就是每个
torch 写模型遇到 RuntimeError: Found dtype Double but expected Float
07-31 1008
torch 写模型遇到 RuntimeError: Found dtype Double but expected Float
MADDPG论文理解
qq_44812718的博客
03-14 3487
MADDPG论文理解
RuntimeError: one of the variables needed for gradient computation has been modified by...
meizhuxun7340的博客
09-15 232
报错信息： RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation: [torch.cuda.FloatTensor [64]] is at version 3; expected version 2 instead. Hint: enable anomaly detection to find the operation that failed
探秘多智能体强化学习-MADDPG算法原理及简单实现
caoyongsheng的博客
10-21 1万+
之前接触的强化学习算法都是单个智能体的强化学习算法，但是也有很多重要的应用场景牵涉到多个智能体之间的交互，比如说，多个机器人的控制，语言的交流，多玩家的游戏等等。本文，就带你简单了解一下Open-AI的MADDPG(Multi-Agent Deep Deterministic Policy Gradient)算法，来共同体验一下多智能体强化学习的魅力。 论文全称：Multi-Agent Acto...
MADDPG学习记录--mapping
weixin_40820983的博客
02-20 3137
项目地址：Transfer Learning for Mapless Quadrotor Navigation Using Recurrent Neural Network 2.19进程：查看项目，制定计划 文件夹 RL_review/try.py 项目地图如下：
python MADDPG
04-04
Python MADDPG（Multi-Agent Deep Deterministic Policy Gradient）是一种用于多智能体强化学习的算法。它是基于深度确定性策略梯度（DDPG）算法的扩展，用于解决多智能体协同决策问题。 MADDPG算法的核心思想是将每个智能体视为一个独立的强化学习代理，并通过协同学习来提高整体性能。每个智能体都有自己的观察空间和动作空间，并通过与环境的交互来学习策略。MADDPG算法通过共享经验回放缓冲区和目标网络来实现智能体之间的协同学习。 MADDPG算法的主要步骤如下： 1. 初始化每个智能体的策略网络和目标网络。 2. 从环境中获取每个智能体的观察，并根据当前策略选择动作。 3. 执行动作并观察奖励和下一个状态。 4. 将经验存储到共享的经验回放缓冲区中。 5. 从经验回放缓冲区中随机采样一批经验。 6. 使用采样的经验更新每个智能体的策略网络和目标网络。 7. 重复步骤2-6直到达到停止条件。 MADDPG算法的优点是能够处理多智能体之间的协同决策问题，并且能够学习到合作策略。它在多智能体协同控制、多智能体博弈等领域有广泛的应用。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值