pytorch多gpu训练报错：RuntimeError: Caught RuntimeError in replica 0 on device 0.

最新推荐文章于 2023-08-26 21:34:54 发布
最新推荐文章于 2023-08-26 21:34:54 发布
阅读量1.1w 收藏 5
点赞数 3
分类专栏： 深度学习 文章标签： python pytorch 人工智能 算法 图卷积
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/slamdunkofkd/article/details/121629040
版权

在进行图卷积多gpu训练的时候，报了这样的错误。

最开始版本的代码使用的是：nn.DataParallel 来进行多gpu训练。

但是其缺点也很明显，对于其维护较差，优点就是只用一行代码。

首先为什么会产生这样的错误，在于gcn对于weight和bias使用了parameter 关键词，在parallel中，无法做到对parameter的并行，导致了一些问题。

后来痛定思痛，决定替换DataParallel 为DistributedDataParallel，可参考下面链接1。

然而，没有那么顺利，替换了之后，还接着出错，发现default gpu负载较为严重，产生原因是在于torch.load的时候，自动加载到了default gpu上，可以将其改为

map_location=torch.device('cpu')

除此之外，可以加上这两句，来减少显存的使用。

torch.backends.cudnn.benchmark = True
torch.backends.cudnn.enabled = True

参考链接

1.  PyTorch Parallel Training（单机多卡并行、混合精度、同步BN训练指南文档） - 知乎

2. PyTorch 有哪些坑/bug？ - 知乎用户Nr7C35的回答 - 知乎 https://www.zhihu.com/question/67209417/answer/866488638

3. pytorch多个显卡并行训练 RuntimeError: Caught RuntimeError in replica 0 on device 0._liu_yuan_kai的博客-CSDN博客

slamdunkofkd
关注
  • 3
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
pytorch模型提示超出内存RuntimeError: CUDA out of memory.
01-20
跑模型时出现RuntimeError: CUDA out of memory.错误 查阅了许多相关内容，原因是：GPU显存内存不够 简单总结一下解决方法： 将batch_size改小。 取torch变量标量值时使用item()属性。 可以在测试阶段添加如下代码： with torch.no_grad(): # 停止自动反向计算梯度 参考： https://wisdomai.xyz/tool/pytorch/archives/2301 https://ptorch.com/news/160.html 作者：菜叶儿掉啦
pytorch多个显卡并行训练 RuntimeError: Caught RuntimeError in replica 0 on device 0.
热门推荐
liu_yuan_kai的博客
10-26 3万+
今天复现并改动一份代码的时候，发生了该错误： RuntimeError: Caught RuntimeError in replica 0 on device 0. 原代码可以再单卡上面正常运行。但因为自己的需要改成多GPU并行加载模型，然后就发生上述错误，并且还提示没有model.drop_path_prob这个属性！问题出现的原因可以看看这篇：https://blog.csdn.net/qq_30614451/article/details/106766551 简单来说：就是 网络模型的某个参..
Caught RuntimeError in replica 0 on device 0（为什么pytorch多卡跑会报错）
算法岗从零到无穷
11-05 1万+
为什么我们多卡运行pytorch的时候会报错呢？如果你找遍了全网都没找到解决方法，那不妨看看本文： a = torch.nn.Parameter(torch.zeros(dims, 1).type(torch.FloatTensor), requires_grad=True) a = torch.autograd.Variable(torch.zeros(dims, 1).type(torch.FloatTensor), requires_grad=True) Variable和P
PyTorch -- RuntimeError:
u014677900的博客
05-29 2792
Failure: Concurrent: 1. RuntimeError: Caught RuntimeError in replica 0 on device 0. 2. RuntimeError: CUDA out of memory. Tried to allocate 12.00 MiB (GPU 0; 10.73 GiB total capacity; 1.36 GiB already allocated; 11.31 MiB free; 66.94 MiB cached)...
RuntimeError: CUDA error: CUBLAS_STATUS_ALLOC_FAILED when calling `cublasCreate(handle)`
AAliuxiaolei的博客
08-21 1717
今天遇到了一个很无语的错，折腾了好久…用Bert提完特征网络用不了…检查了大小的问题，发现不是，后面发现是没有放在cuda上… 具体报错 RuntimeError: Caught RuntimeError in replica 0 on device 0. RuntimeError: CUDA error: CUBLAS_STATUS_ALLOC_FAILED when calling `cublasCreate(handle) 解决方法： ext_hashCodes.unsqueeze(1).repe
RuntimeError: Caught RuntimeError in replica 0 on device 0.
最新发布
子燕若水的博客
08-26 2502
这个错误表示在使用分布式训练时,复制0在设备0上遇到了RuntimeError。
python报错RuntimeError: Caught RuntimeError in replica 0 on device 0.
qq_41018465的博客
01-20 9200
python报错： 下面展示一些 内联代码片。 RuntimeError: Caught RuntimeError in replica 0 on device 0. 以及 RuntimeError: CUDA out of memory. Tried to allocate 30.00 MiB (GPU 2; 15.90 GiB total capacity; 15.08 GiB already allocated; 11.69 MiB free; 15.18 GiB reserved in total
caught runtimeerror in replica 0 on device 0 错误解决
qq_41018465的博客
06-27 5058
caught runtimeerror in replica 0 on device 0 解决方案
解决pytorch报错:AssertionError: Invalid device id的问题
01-21
在服务器上训练的网络放到本地台式机进行infer，结果出现报错： AssertionError: Invalid device id 仔细检查后发现原来服务器有多个GPU，当时开启了两个进行加速运算。 net1 = nn.DataParallel(net1, device_ids=...
pytorch报错：Process finished with exit code -1073741819 (0xC0000005)
12-21
标题中的“pytorch报错：Process finished with exit code -1073741819 (0xC0000005)”是一个常见的错误提示，它表明PyTorch程序在尝试使用GPU时遇到了问题。这个错误代码0xC0000005通常与访问冲突或内存损坏有关，...
linux或windows环境下pytorch的安装与检查验证(解决runtimeerror问题)
01-10
https://pytorch.org/ 在getstarted处选择对应版本 方法一：直接使用对应的安装指令进行安装 但是其实这样比较容易断或者出现runtimeout的error。解决办法：使用pip先进行源的查找，在开始下载后停掉，然后找到屏幕...
KeyError: Caught KeyError in replica 7 on device 7.
ccbrid的博客
05-19 843
可以解决问题，但总归不是长久之计： Pytorch多GPU并行Bug收集（长期）：KeyError: Caught KeyError in replica *[device_id] on device *[device_id]._wanghan0801的博客-CSDN博客在单卡训练顺利的前提下，修改为多卡训练，可谓bug多多今天用pytorch 多GPU并行训练时，在最后一个step的时候报错了，KeyError: Caught KeyError in replica 5 on device 5.如图所示
运行开源库CCPD-RPnet代码，提示「KeyError: Caught KeyError in replica 0 on device 0」错误
Donald Su
10-29 8693
文章目录问题描述问题排查Solution 问题描述 通过python3 demo.py -i ./demo -m ./models/fh02.pth运行CCPD代码，提示「KeyError: Caught KeyError in replica 0 on device 0」和「KeyError: <class ‘torch.Tensor’>」错误。 错误日志为： True /pytor...
【bug】TypeError: Caught TypeError in replica 1 on device 1.
txy_code的博客
11-18 6483
做三位人体重建的时候，运行时代码报错TypeError: Caught TypeError in replica 1 on device 1. 这个错误的意思是在程序中分配了一个gpu, 但运行时给程序两个gpu，但是其实我只是在配置文件中规定使用gpu：0 原因 因为我的服务器有两张卡，空闲了一张显卡，代码自动调用了它们，然后找了半天错误，最后在代码中将gpu设置成一张就行了。 解决方法 在代码中加入下面两行代码，强制使用一块卡即可 import os os.environ['CUDA_VISIBLE_
[pytorch踩坑记录]使用DataParallel出现TypeError: Caught TypeError in replica 1 on device 1.
weixin_40779727的博客
07-17 576
【代码】[pytorch踩坑记录]使用DataParallel出现TypeError: Caught TypeError in replica 1 on device 1.
RuntimeError: Caught RuntimeError in replica 0 on device 2.
sdaujz的博客
09-30 6252
Traceback (most recent call last): File "run_RACE.py", line 243, in <module> main(args.get_args(data_dir,gpu_ids), bert_vocab_file) File "run_RACE.py", line 226, in main config.gradient_accumulation_steps, config.max_grad_norm, device, s.
RuntimeError: CUDA error: an illegal memory access was encountered 错误解决方案
slamdunkofkd的博客
03-04 3万+
RuntimeError: CUDA error: an illegal memory access was encountered 首先，大家先检查自己的网络的参数是否有问题，如果参数有问题会导致此问题。 其次，博主遇到一个情况。在单GPU下开启时，eval阶段会报这种错误。 torch.nn.DataParallel(net,device_ids=[0]) 在net eval之前加...
RuntimeError: Caught RuntimeError in DataLoader worker process 0.
07-27
引用\[1\]中提到了在服务器上跑网络时感觉很慢，尤其是在多块显卡同时运行时，尝试设置num_workers=4时出现了RuntimeError: Caught RuntimeError in DataLoader worker process的错误。这个错误通常是由于在多进程环境下使用了CUDA导致的。引用\[2\]中提到了另外一个报错信息RuntimeError: Cannot re-initialize CUDA in forked subprocess。这个错误提示表明在子进程中重新初始化CUDA会导致问题。根据这两个报错信息，可以推测出问题可能是由于在多进程环境下使用了CUDA并且尝试重新初始化CUDA导致的。 解决这个问题的方法是在创建DataLoader时将参数pin_memory设置为True，并且在创建DataLoader之前调用torch.cuda.set_device函数将当前设备设置为所需的GPU设备。这样可以确保在多进程环境下正确使用CUDA。另外，还可以尝试将num_workers设置为0，这样可以避免使用多进程，但可能会影响数据加载的速度。 总结起来，解决RuntimeError: Caught RuntimeError in DataLoader worker process的方法是： 1. 在创建DataLoader时将参数pin_memory设置为True。 2. 在创建DataLoader之前调用torch.cuda.set_device函数将当前设备设置为所需的GPU设备。 3. 将num_workers设置为0，以避免使用多进程。 希望这些方法能够帮助您解决问题。\[1\]\[2\] #### 引用[.reference_title] - *1* *2* [DataLoader设置num_workers=4报错 RuntimeError: Caught RuntimeError in DataLoader worker process](https://blog.csdn.net/qq_41381865/article/details/118459068)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [RuntimeError: applying transform ＜monai.transforms.croppad.dictionary.RandCropByPosNegLabeld object](https://blog.csdn.net/weixin_40198079/article/details/125423213)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值