pytorch 多GPU训练遇到的坑

最新推荐文章于 2023-03-14 22:11:15 发布
最新推荐文章于 2023-03-14 22:11:15 发布
阅读量4.3k 收藏 2
点赞数 2
分类专栏： pytorch 文章标签： pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_30614451/article/details/101365759
版权

在打算由单GPU转成多GPU时，使用：

self.model = self.model.cuda(device=device_ids[0])              
 self.model = torch.nn.DataParallel(self.model,device_ids=device_ids)

设置后，出现报错，报错显示读取不到模型的参数，原因是因为经过DataParallel包装过的模型如下：
在这里插入图片描述
和使用单GPU时不同的是多了一个.module,所以再进行任何需要调用model里面参数的操作时，都需要在model后面加上一个.module,即model.module，这样才能提取出model里面的参数以及函数等。如图所示：
在这里插入图片描述

羊藤枝
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Pytorch 容器 - 5. Module中的参数转换/转移：cpu(), cuda(), float(), double(), half()
Aaron_neil的博客
04-21 1156
如果模型要在gpu上进行训练，需要再将参数放到优化器之前调用该函数进行设备转化。对于模型的cpu()函数，比如 model.cpu()，只是把。将模型中所有parameters和buffers进行类型转换。parameters 和 buffers。
LSTM多GPU训练、pytorch 多GPU 数据并行模式
最新发布
10-25
然而，多GPU训练过程中会遇到一些常见的问题。以下是一些关键知识点和解决方案： 1. **`DataParallel`对象没有`init_hidden_state`属性（`AttributeError: 'DataParallel' object has no attribute 'init_hidden_...
pytorch多GPU训练 和单gpu
m0_37192554的博客
07-22 770
os.environ[‘CUDA_VISIBLE_DEVICES’] = “1,2,3,4,5,6” use_cuda = torch.cuda.is_available() conf.device=torch.device(“cuda:0” if torch.cuda.is_available() else “cpu”) self.model = resnet50() if use_cuda: ...
nn.DataParallel使用注意
Njhbsj的博客
03-14 754
nn.DataParallel 如果默认不是序号0的话需要添加 os.environ["CUDA_DEVICE_ORDER"] = "PCI_BUS_ID" os.environ["CUDA_VISIBLE_DEVICES"] = "2, 3" device_ids = [0, 1] model = torch.nn.DataParallel(net, device_ids=device_ids) model.cuda() 优化器同样可以 optimizer = torch.optim.SGD(ne
【pytorch】torch.nn.DataParallel用法详解
热门推荐
sazass的博客
05-10 4万+
参考博客： https://blog.csdn.net/baidu_35120637/article/details/110785801 https://blog.csdn.net/zhjm07054115/article/details/104799661 https://blog.csdn.net/anshiquanshu/article/details/108186955 在多卡的GPU服务器，当我们在上面跑程序的时候，当迭代次数或者epoch足够大的时候，我们通常会使用nn.DataParallel
Pytorch分布式训练/多卡训练(一) —— Data Parallel并行(DP)
hxxjxw的博客
03-25 1万+
注意 .to(device)就是把数据从内存放到GPU显存
解决C++调用python 时，使用tensorflow库GPU加速出现错误：IndexError: list index out of range
kakalt6的博客
10-14 863
C++调用python，使用tensorflow库
解决pytorch多GPU训练保存的模型,在单GPU环境下加载出错问题
09-16
### 解决PyTorch多GPU训练保存的模型，在单GPU环境下加载出错的问题 #### 背景 在实际工作中，我们经常会遇到这样的情况：在配备了多张GPU的工作站或服务器上训练深度学习模型，然后将训练好的模型迁移到只有单个...
pytorch 单机多GPU训练RNN遇到的问题
01-06
在使用DataParallel训练中遇到的一些问题。 1.模型无法识别自定义模块。 如图示，会出现如AttributeError: ‘DataParallel’ object has no attribute ‘xxx’的错误。 原因：在使用net = torch.nn.DataParallel...
pytorch使用指定GPU训练的实例
09-18
在PyTorch中，当你拥有多个GPU并且想要指定特定GPU进行模型训练时，这是一个常见的需求。这通常是出于资源管理或并行计算的目的。本篇将详细介绍如何在PyTorch中利用指定的GPU进行训练，以及如何解决可能遇到的内存...
(已解决)Ubuntu多显卡训练模型时程序卡死：torch torch 奈若何
行步至春深
09-26 2959
根因是cuda和pytorch的版本不匹配~经过这次最大的收获是理解了channel并学会了下载下安装包conda install --use-local 的安装方式
torch.nn.Module.cuda(device=None)
敲代码的小风
01-16 4322
参考链接: torch.nn.Module.cuda(device=None)
.to(device)与.cuda()的区别
记录科研路上的绊脚石--Ji
03-15 5763
.to(device) 可以指定CPU 或者GPU device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu") # 单GPU或者CPU model.to(device) #如果是多GPU if torch.cuda.device_count() > 1: model = nn.DataParallel(model，device_ids=[0,1,2]) model.to(device) .cuda() 只能指定G
py-faster-rcnn训练自己的数据集遇到问题总结
南洲.的博客
07-19 621
1.AttributeError: ‘module’ object has no attribute ‘text_format’ 解决办法： 打开py-faster-rcnn/lib/fast_rcnn/train.py增加一行import google.protobuf.text_format 即可解决问题 参考：https://blog.csdn.net/qq_33202928/article...
pytorch将model放置到GPU(cuda)上，运行时报错Expected all tensors to be on the same device, but found at least tw
oneself的博客
05-04 8502
完整报错：Expected all tensors to be on the same device, but found at least two devices, cuda:0 and cpu! (when checking argument for argument index in method wrapper__index_select) 环境：python3,游戏本（带gpu） 1. 将model放置到cuda上： USE_CUDA = torch.cuda.is_available()
cuda() missing 1 required positional argument: 'self'的可能错误原因
york1996的博客
09-10 1万+
在使用pytroch的过程中出现上述错误的可能原因是 类的名称后面没有加括号就使用了cuda()函数。 比如： model=fcFistCNN.cuda() 应该写成： model=fcFistCNN().cuda() 这样看来类实例化（）括号就相当于self了。 ...
遗传算法(GA/NSGA)优化神经网络 GA-BP
Dilkople的博客
07-13 8193
两个版本的GA-BP优化代码（实际应该为EGA-BP）.该文章代码基于Python3 pytorch进行编写。版本说明：Part 1 为 利用 GA-BP 求神经网络最优的learning rate和隐藏层的神经元个数。Part 2 为利用 GA-BP 在神经网络训练中加入遗传变异等操作。Combined 即为结合 Part 1 and Part 2。主要便于方便代入自己的数据所以写了如下代码。
Pytorch单GPU、多GPU训练的几个细节对比
AsajuHuishi的博客
06-03 2653
训练前 单GPU： os.environ["CUDA_VISIBLE_DEVICES"] = '0' 多GPU： os.environ["CUDA_VISIBLE_DEVICES"] = '0,1' if torch.cuda.device_count() > 1: print("Let's use", torch.cuda.device_count(), "GPUs!") self.model = nn.DataParallel(self.model) 训练过程中保存模型 单GP
NVIDIA Tesla/Quadro和GeForce GPU比较
yiran103的专栏
11-14 1万+
Comparison of NVIDIA Tesla/Quadro and NVIDIA GeForce GPUs 英伟达gtx不仅可以用来玩游戏，就深度学习任务而言，gtx具备的算力并不亚于tesla专业显卡。并且，游戏卡的价格相比专业卡要便宜不少。那么二者之间的差异是什么呢？ 首先，gtx的单卡计算性能和tesla差别不大。虽然英伟达大幅削减了gtx的FP16性能，使其聊胜于无。但gt
pytorch 安装gpu
07-28
安装PyTorch GPU版本需要以下步骤： 1. 确保你的电脑上已经安装了GPU驱动程序。...以上是安装PyTorch GPU版本的基本步骤，安装过程中可能会遇到一些问题，你可以在PyTorch官网的社区论坛上寻求帮助。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值