多GPU训练：torch.nn.DataParallel（）指定显卡

最新推荐文章于 2024-05-13 17:06:23 发布
最新推荐文章于 2024-05-13 17:06:23 发布
阅读量2.1k 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/AAliuxiaolei/article/details/119518666
版权

遇到大的模型一般会采用torch.nn.DataParallel（）的方式使用多GPU进行训练，但torch.nn.DataParallel（）这个方式会每次调用GPU：0，如果0卡被占用就训练不起来了。在此提供两种指定GPU的方法：

方法一：.cuda(‘cuda:3’)

这种方法就是将有cuda（）的地方全部里面指定卡，但是这样改的地方太多，要是再做变动就会很麻烦，而且貌似不可以指定两张卡。

方法二： os.environ[“CUDA_VISIBLE_DEVICES”] = ‘1,2’

这种方法可以让程序只看到1卡和2卡，这时候机器就会认为1卡就是GPU：0。所以输出报错或者其他输出当前GPU是在GPU：0，但其实是跑在GPU：1上。

AAliuxiaolei
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
pytorch 多GPU训练总结（DataParallel的使用）
不忘初心不动摇
02-28 8万+
这里记录用pytorch 多GPU训练 踩过的许多坑 仅针对单服务器多gpu 数据并行 而不是 多机器分布式训练 一、官方思路包装模型 这是pytorch 官方的原理图 按照这个官方的原理图 修改应该参照 https://blog.csdn.net/qq_19598705/article/details/80396325 上文也用dataParallel 包装了optimize...
Pytorch中torch.nn的损失函数
12-21
在PyTorch中，`torch.nn`模块包含了各种损失函数，这些函数对于训练神经网络模型至关重要，因为它们衡量了模型预测与实际目标之间的差异。在本文中，我们将深入探讨三个常用的二分类和多标签分类损失函数：`torch.nn...
Pytorch调用GPU训练两种方法
fangshuo_light的博客
01-04 7625
我们可以通过对网络模型，数据，损失函数这三种变量调用 .cuda() 来在GPU上进行训练。
torch分布式训练
orangerfun的博客
04-05 1万+
1. 基本概念 rank 进程号，在多进程上下文中，我们通常假定rank 0是第一个进程或者主进程，其它进程分别具有1，2，3不同rank号，这样总共具有4个进程 node 物理节点，可以是一个容器也可以是一台机器，节点内部可以有多个GPU；nnodes指物理节点数量， nproc_per_node指每个物理节点上面进程的数量 local_rank 指在一个node上进程的相对序号，local_rank在node之间相互独立 WORLD_SIZE 全局进程总个数，即在一个分布式任务中rank
使用torch完成多卡训练
Edward__J的博客
05-09 1290
因为我这个gpu进程得到的是这个进程上数据的loss，比如我有四张卡，第一张卡上batch size有64个数据，会产生一个loss，但是四张卡按理来说是256的batch size，我们的做法应该是把四张卡的loss加起来除以四。我不太懂，希望有明白的佬提点一下。第一个是torch.utils.data.DistributedSampler，这函数的就是给不同的gpu分配不通的数据，简单来说就是把编号1，3，5，...的数据分给gpu0，2，4，8，...分给gpu2等等，这一步只是把索引给分好。
torch.cuda.set_device(device)
热门推荐
出门左拐是海的博客
04-03 1万+
torch.cuda.set_device(device)设定设备。 般不建议使用这个方式设置设备，大多数情况下，最好使用CUDA_VISIBLE_DEVICES环境变量。 其中的参数device是设备，如果是负数，则为未设置
【亲测有用】如何使用pytorch指定GPU训练
weixin_44883789的博客
08-28 2982
深度学习中，跑模型代码的过程中，可能主GPU被占用而无法进行训练，这个时候，可知通过torch库来指定训练的GPU号。
在 PyTorch 中使用 GPU 进行训练
Smile_liujun的博客
07-05 1497
在 PyTorch 中使用 GPU 进行模型训练步骤：1. 拿到 gpu 设备；2. 把训练模型拷贝到 gpu 设备上；3. 训练的时候，把数据一批批拷到 gpu 设备上。
PyTorch里面的torch.nn.Parameter()详解
09-18
在代码示例中提到的`self.v = torch.nn.Parameter(torch.FloatTensor(hidden_size))`，这里的`self.v`就被转换成了一个可训练的参数，它将作为模型的一部分参与训练过程。这意味着，在反向传播和优化过程中，`self.v...
Pythorch中torch.nn.LSTM()参数详解
04-27
Pythorch中torch.nn.LSTM()参数详解；Pythorch中torch.nn.LSTM()参数详解；Pythorch中torch.nn.LSTM()参数详解；Pythorch中torch.nn.LSTM()参数详解；Pythorch中torch.nn.LSTM()参数详解；Pythorch中torch.nn.LSTM()...
python torch.utils.data.DataLoader使用方法
09-17
`torch.utils.data.DataLoader`是PyTorch框架中用于高效加载和处理数据的关键组件。它在机器学习模型的训练过程中起着至关重要的作用，因为它的功能包括数据分批、数据预处理、多线程加载以及可选的随机打乱顺序等。...
torch如何指定多GPU训练
weixin_50952710的博客
11-21 1万+
torch如何指定多GPU训练，.to(device)与cuda()的区别
pytorch并行处理详解（多GPU，环境变量）
xys430381_1的专栏
06-09 1万+
PyTorch默认使用从0开始的GPU，且默认只使用0号GPU。如果要使用其他编号的GPU或者使用多块GPU，则要设置。 pytorch并行后，假设batchsize设置为64，表示每张并行使用的GPU都使用batchsize=64来计算（单张卡使用时，使用batchsize=64比较合适时，多张卡并行时，batchsize仍为64比较合适，而不是64*并行卡数）。 DataParallel 会自动拆分数据，并将作业订单发送到多个GPU上的多个模型。 在每个模型完成它们的工作之后，DataPar..
PYTorch训练和推理 指定GPU
黎国溥
03-21 2429
在训练模型和推理测试时，电脑中有多个显卡，需要指定某个GPU，以免出现显出不够问题。
torch.device和torch.cuda.set_device()
weixin_42559117的博客
10-29 3919
2. 如果使用torch.cuda.set_device('cuda:0')的方式，则改用。3. 即前者需要采用to()方法，而后者可以使用cuda()方法，而无需传递参数。1. 使用torch.device的方式设置显卡之后，需用使用。的方式将模型和数据放到GPU上。的方式将模型和数据加载到显卡中。
torch 指定显卡
billbliss的专栏
07-28 1520
torch.cuda.set_device()的优先级低：如果model.cuda()中指定了参数，那么torch.cuda.set_device()会失效，而且。2. shell中指定。3. 模型/参数中指定。
Pytorch基础：torch.cuda.set_device函数
最新发布
前进，才知道自己的渺小
05-13 1420
torch.cuda.set_device函数用于设置当前使用的cuda设备，在当拥有多个可用的GPU且能被pytorch识别的cuda设备情况下（环境变量CUDA_VISIBLE_DEVICES可以影响GPU设备到cuda设备的映射）。
【解决---pytorch 指定gpu训练 or 多gpu训练】
fyc300的博客
12-07 553
该函数实现了在module级别上的数据并行使用，注意batch size要大于GPU的数量。device_ids： GPU的编号(默认全部GPU，或[0,1] ,[0,1,2])output_device：(默认是device_ids[0])dim：tensors被分散的维度，默认是0。module：需要多GPU训练的网络模型。其中id就是你的gpu编号。
Pytorch 使用GPU训练
刘石头的博客
11-22 2178
使用 GPU 训练只需要在原来的代码中修改几处就可以了。我们有两种方式实现代码在 GPU 上进行训练。
pytorch指定用多张显卡训练_pytorch多gpu并行训练
06-04
你可以使用PyTorch的`torch.nn.DataParallel`模块来实现多GPU并行训练。具体实现步骤如下： 1. 使用`torch.cuda.device_count()`函数检测当前机器上可用的GPU数量，并将模型放到所有可用的GPU上。 2. 使用`torch.nn.DataParallel`将模型封装起来，使其能够在多个GPU上并行运行。 下面是一个简单的示例代码： ```python import torch import torch.nn as nn from torch.utils.data import DataLoader # 定义模型和数据加载器 model = MyModel().cuda() data_loader = DataLoader(dataset) # 检测可用的GPU数量，并将模型放到所有可用的GPU上 if torch.cuda.device_count() > 1: print("Let's use", torch.cuda.device_count(), "GPUs!") model = nn.DataParallel(model) # 定义优化器和损失函数 optimizer = torch.optim.Adam(model.parameters(), lr=0.001) criterion = nn.CrossEntropyLoss() # 开始训练 for epoch in range(num_epochs): for batch in data_loader: inputs, labels = batch inputs = inputs.cuda() labels = labels.cuda() optimizer.zero_grad() outputs = model(inputs) loss = criterion(outputs, labels) loss.backward() optimizer.step() ``` 在这个示例代码中，如果机器上有多个GPU，`nn.DataParallel`会自动使用所有可用的GPU来并行运行模型。注意，在使用`nn.DataParallel`时，模型的输入和输出需要是`torch.Tensor`类型，不能是Python原生数据类型，否则会报错。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值