linux单机多卡报错 CUDA device 1 but torch.cuda.device_count() is 1

RuntimeError: Attempting to deserialize object on CUDA device 1 but torch.cuda.device_count() is 1.

出现这样的原因是因为我用了第二块GPU训练,在另一台机器上加载模型的时候,没有了第二块GPU,这时候就要指定用“cuda:0”

torch.load('./modelSubmit/encoder_48.pth.tar',map_location='cuda:0')

或者
模型原本是使用两个GPU进行训练的,但是我的电脑仅有一个GPU,所以会报错

model = torch.load(model_path) # 原来
model = torch.load(model_path, map_location='cuda:0') # 改为这样

linux单机多卡程序并行

多环境:
安装了多个conda 环境,env1,env2, env3,env4

单机多卡:
cuda 0, 1,2, 3

需求表:

1: 尝试使用同一个conda 环境跑2个测试用例,失败了,报错CUDA 不可用

2: 尝试2个环境,跑副本程序(copy一份)是可以的**

注意:
conda env list ( 查看环境)
进入conda 的环境再运行,即是使用了当前环境

参考文献:
https://blog.csdn.net/Ginomica_xyx/article/details/121029308

  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
如果要在单机上使用多个GPU进行计算,可以使用`DataParallel`或者`DistributedDataParallel`这两个PyTorch提供的模块。其中,`DataParallel`将数据分割成多个部分,在多个GPU上分别计算,最后再将结果合并;`DistributedDataParallel`则更加复杂,需要手动进行进程和通信的设置,但是在性能方面更加出色。 使用`DataParallel`的话,可以这样修改: ```python import torch.nn as nn import torch.optim as optim import torch.distributed as dist import torch.utils.data.distributed as distributed device_ids = [0, 1] # 指定要使用的GPU设备编号 model = nn.DataParallel(model, device_ids=device_ids) # 使用DataParallel进行多GPU计算 # 定义损失函数和优化器 criterion = nn.CrossEntropyLoss() optimizer = optim.SGD(model.parameters(), lr=0.001) # 训练循环 for epoch in range(num_epochs): # 从数据集中加载数据 train_loader = torch.utils.data.DataLoader(train_dataset, batch_size=batch_size, shuffle=True, num_workers=4, pin_memory=True) # 训练模型 for inputs, labels in train_loader: inputs, labels = inputs.to(device), labels.to(device) optimizer.zero_grad() outputs = model(inputs) loss = criterion(outputs, labels) loss.backward() optimizer.step() ``` 使用`DistributedDataParallel`的话,可以这样修改: ```python import torch.nn as nn import torch.optim as optim import torch.distributed as dist import torch.utils.data.distributed as distributed # 初始化进程组 dist.init_process_group(backend='nccl', init_method='env://') # 设置分布式计算相关参数 world_size = dist.get_world_size() rank = dist.get_rank() torch.cuda.set_device(rank) # 加载模型,使用DistributedDataParallel进行多GPU计算 model = MyModel() model = nn.parallel.DistributedDataParallel(model) # 定义损失函数和优化器 criterion = nn.CrossEntropyLoss() optimizer = optim.SGD(model.parameters(), lr=0.001) # 从数据集中加载数据 train_sampler = distributed.DistributedSampler(train_dataset) train_loader = torch.utils.data.DataLoader(train_dataset, batch_size=batch_size, shuffle=False, num_workers=4, pin_memory=True, sampler=train_sampler) # 训练循环 for epoch in range(num_epochs): train_sampler.set_epoch(epoch) for inputs, labels in train_loader: inputs, labels = inputs.cuda(), labels.cuda() optimizer.zero_grad() outputs = model(inputs) loss = criterion(outputs, labels) loss.backward() optimizer.step() ``` 需要注意的是,使用`DistributedDataParallel`时需要先初始化进程组,设置分布式计算相关参数,以及使用`DistributedSampler`对数据进行分布式采样。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值