[Notes] Pytorch中DDP(DistributedDataParallel)指定显卡/GPU运行的方式

最新推荐文章于 2024-01-31 19:06:33 发布
最新推荐文章于 2024-01-31 19:06:33 发布
阅读量3.5k 收藏 9
点赞数 9
分类专栏： Note 文章标签： pytorch 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ftimes/article/details/121361853
版权

先看看哪些卡空闲/可用,使用CUDA_VISIBLE_DEVICES屏蔽掉不可用的卡

# 1 2 4 7号卡可用
CUDA_VISIBLE_DEVICES="1,2,4,7" python -m torch.distributed.launch --nproc_per_node 4 main.py

#避免冲突 自定义端口
CUDA_VISIBLE_DEVICES="1,2,4,7" python -m torch.distributed.launch --nproc_per_node 4 --master_port YourPort main.py
江南蜡笔小新
关注
  • 9
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
[原创][深度][PyTorch] DDP入门教程
YIforeveralone的博客
10-26 2813
引言 本文首发于 知乎 DistributedDataParallel（DDP）是一个支持多机多卡训练、分布式训练的工程方法。PyTorch现已原生支持DDP，可以直接通过torch.distributed使用，超方便，不再需要难以安装的apex库啦！ 概览 想要让你的PyTorch神经网络在多卡环境上跑得又快又好？那你definitely需要这一篇！ No one knows DDP better than I do! – – magic_frog（手动狗头） 本文是DDP系列三篇（基本原理与入门
Pytorch实现多GPU并行训练（DDP）
木盏
06-29 4240
Pytorch实现并行训练通常有两个接口：DP（DataParallel）和DDP（DistributedDataParallel）。目前DP（DataParallel）已经被Pytorch官方deprecate掉了，原因有二：1，DP（DataParallel）只支持单机多卡，无法支持多机多卡；2，DP（DataParallel）即便在单机多卡模式下效率也不及DDP（DistributedDataParallel）。
科研第五步：如何使用DDP分布式多GPU并行跑pytorch深度学习训练
fs1341825137的博客
03-04 5055
DDP分布式多GPU并行跑pytorch深度学习模型 多卡并行代码模板 文章目录DDP分布式多GPU并行跑pytorch深度学习模型前言一、DDP怎么用二、使用步骤1.引入库2.读入数据总结 前言 PyTorch的数据并行相对于TensorFlow而言，要简单的多，主要分成两个API： DataParallel（DP）：Parameter Server模式，一张卡为reducer，实现也超级简单，一行代码。 DistributedDataParallel（DDP）：All-Reduce模式，本意是用来分布式
torch如何指定多GPU训练
weixin_50952710的博客
11-21 1万+
torch如何指定多GPU训练，.to(device)与cuda()的区别
【DP DDP】pytorch中DataParallel和DistributedDataParallel实现多GPU训练
计算机视觉方面的点点滴滴，欢迎一起讨论
04-21 2360
文章目录1 看个故事2 DataParallel 怎么用2.1 DP原理2.2 DP使用简介2.3 DP使用代码详解3 DataparallelDistributed 怎么用3.1 DDP原理3.2 DDP使用简介3.3 DP使用代码详解感谢链接 1 看个故事 我有一台电脑(又称节点，node)，上面有6张显卡(device，GPU)，老师让我训练一个模型，一张卡上跑不动，需要在多张卡上跑，此时有两种方式： 第一： 开一个进程(process)，该进程下每个线程(threading)负责一部分数据，分别跑在
Pytorch指定GPU去运行
木盏
03-09 762
在开头加入这么2句就可以了： import os os.environ["CUDA_VISIBLE_DEVICES"] = "2" # 0, 1, 2, ... 指定设备id就行了，需要注意的是"2"需要加引号。
【实用】多GPU未占满情况下，使用Python指定GPU运行代码
丑小鸭
02-11 1128
【实用】多GPU未占满情况下，使用Python指定GPU运行代码
pytorch qat 2////////////
最新发布
07-27
pytorch qat 2////////////
在pytorch中为Module和Tensor指定GPU的例子
09-18
今天小编就为大家分享一篇在pytorch中为Module和Tensor指定GPU的例子，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
python线性回归、pytorch实现线性回归，包括GPU运行方式
08-27
内容概要：基于python深度学习框架pytorch实现线性回归，代码是jupyter版本，可直接在vscode中打开，只需要选择带torch的kernel即可完美运行。后续添加了GPU支持的方法，整体较为简单 适合人群：pytorch的入门人群，...
pytorch使用指定GPU训练的实例
09-18
在PyTorch中，当你拥有多个GPU并且想要指定特定GPU进行模型训练时，这是一个常见的需求。这通常是出于资源管理或并行计算的目的。本篇将详细介绍如何在PyTorch中利用指定的GPU进行训练，以及如何解决可能遇到的内存...
PyTorch离线安装包+官网源/清华源
06-16
**PyTorch 离线安装包与在线安装的区别** PyTorch 是一个广泛用于深度学习的开源框架，由 Facebook 的 AI 研究团队开发。它提供了动态计算图功能，便于模型构建和实验。在某些情况下，由于网络不稳定或者速度慢，...
pytorch指定gpu训练_DataParallel & DistributedDataParallel分布式训练
weixin_39713833的博客
11-27 1556
写在前面今天跑测试代码的时候遇到了以下问题:对于同一个模型,相同的参数(同一个.pth文件),加不加model = nn.DataParallel(model)测试结果相差特别多(如下图所示),加了这句mIoU是第一个结果0.8847,没加是0.4929(以mIoU为例,可以看到其他各项指标也都掉的严重),所以决定花点心思把nn.DataParallel(model)搞清楚。指标结果掉的严重这里需...
Pytorch--分布式训练DistributedDataParallel
qq_42035274的博客
04-11 878
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
单机多卡(gpu)DP和DDP简单操作个人记录
qq_55736201的博客
01-31 1179
用于单机多GPU输入计算是被几块卡均分的，但在进行梯度的传播时，是在主GPU上进行的，缺点：GPU负载不均衡，（逻辑0卡默认为主GPU）主GPU的负载很大，而其他GPU的负载很少。
Pytorch DDP DistributedDataParallel load_state_dict checkpoint 加载断点 继续训练的正确打开方式
qq_40947610的博客
04-17 1493
一、网上的一些博客是错误的，我按照他们的方法去改，结果不对，比如： Pytorch采坑记录：DDP加载之前的checkpoint后loss上升（metric下降） [原创][深度][PyTorch] DDP系列第二篇：实现原理与源代码解析 二、pytorch官网的说法也是让人摸不着头脑，官方说法，但是保存checkpoint 的做法是对的，直接在主进程共保存即可，这点不再赘述，但是加载断点文件到DDP中的说法不是很清楚。特别是map_location = {‘cuda:%d’ % 0: ‘cuda:%d’
Pytorch分布式训练
winycg的博客
08-28 6620
参考文献：https://www.cnblogs.com/jfdwd/p/11196439.html NCCL NVIDIA Collective Communication Library (NCCL) ：NVIDIA分布式通信库，负责加速共同通信原语，不是一个并行编程框架。利用NCCL可以在多GPU训练下的优化。 下载安装链接：https://docs.nvidia.com/deeplearn...
服务器使用指定的 GPU 训练神经网络(笔记)
weixin_44042453的博客
10-21 1304
服务器使用指定的 GPU 训练神经网络
梯度爆炸与梯度消失是什么？有什么影响？如何解决？
热门推荐
江南蜡笔小新
04-29 3万+
文章目录一、梯度爆炸1.什么是梯度爆炸？2.有何影响？二、梯度消失1.定义2.有何影响？三、共同点1.产生原因2.解决办法a. 方案1-预训练加微调b. 方案2-梯度剪切、正则化c. 方案3-relu、leakrelu、elu等激活函数解决方案4-batchnorm/批规范化解决方案5-残差结构解决方案6-LSTM 梯度消失与梯度爆炸其实差不多，两种情况下梯度消失经常出现，一是在深层网络中，二是采...
pytorch如何使用DistributedDataParallel
04-01
PyTorch中的DistributedDataParallel（DDP）是一种用于训练分布式模型的工具。使用DDP，我们可以在多个节点或GPU上并行训练模型，以加快训练速度。 以下是使用DDP进行分布式训练的基本步骤： 1. 初始化进程组： ```python import torch.distributed as dist dist.init_process_group('gloo', init_method='file:///tmp/some_file', rank=rank, world_size=world_size) ``` 这会初始化一个进程组，用于协调不同节点或GPU之间的通信。`gloo`是一种通信后端，支持TCP/IP、IB和RoCE等协议。`init_method`参数指定了进程组的初始化方法，在此示例中，我们使用了文件方式。`rank`参数指定了当前进程的排名，`world_size`指定了进程组的总大小。 2. 定义模型： ```python model = nn.Sequential( nn.Linear(784, 256), nn.ReLU(), nn.Linear(256, 10) ) ``` 我们定义了一个简单的前馈神经网络模型。 3. 将模型包装在DDP中： ```python model = nn.parallel.DistributedDataParallel(model, device_ids=[rank], output_device=rank) ``` 我们使用`nn.parallel.DistributedDataParallel`将模型包装在DDP中。`device_ids`参数指定了当前进程使用的GPU ID，`output_device`参数指定了输出设备的GPU ID。 4. 定义数据加载器： ```python train_loader = torch.utils.data.DataLoader(train_dataset, batch_size=batch_size, shuffle=True, num_workers=num_workers, pin_memory=True) ``` 我们使用`torch.utils.data.DataLoader`定义数据加载器。`batch_size`参数指定了每个批次的大小，`shuffle`参数指定了是否打乱数据，`num_workers`参数指定了数据加载器的工作进程数量，`pin_memory`参数指定了是否将数据加载到固定的内存位置中。 5. 训练模型： ```python for epoch in range(num_epochs): model.train() for i, (images, labels) in enumerate(train_loader): images = images.to(rank) labels = labels.to(rank) outputs = model(images) loss = criterion(outputs, labels) optimizer.zero_grad() loss.backward() optimizer.step() if i % 100 == 0: print(f"Epoch [{epoch}/{num_epochs}], Step [{i}/{total_steps}], Loss: {loss.item():.4f}") ``` 我们使用常规的PyTorch训练循环训练模型。在每个批次中，我们将数据加载到当前进程使用的GPU中，计算损失，进行反向传播和优化。在训练过程中，DDP会自动将模型参数同步到其他节点或GPU中。 6. 清理： ```python dist.destroy_process_group() ``` 训练完成后，我们需要清理进程组。 完整的示例代码如下： ```python import torch import torch.nn as nn import torch.optim as optim import torch.distributed as dist import torchvision.datasets as datasets import torchvision.transforms as transforms # 初始化进程组 dist.init_process_group('gloo', init_method='file:///tmp/some_file', rank=rank, world_size=world_size) # 定义模型 model = nn.Sequential( nn.Linear(784, 256), nn.ReLU(), nn.Linear(256, 10) ) # 将模型包装在DDP中 model = nn.parallel.DistributedDataParallel(model, device_ids=[rank], output_device=rank) # 定义损失函数和优化器 criterion = nn.CrossEntropyLoss() optimizer = optim.SGD(model.parameters(), lr=lr) # 定义数据加载器 train_dataset = datasets.MNIST(root='data', train=True, transform=transforms.ToTensor(), download=True) train_loader = torch.utils.data.DataLoader(train_dataset, batch_size=batch_size, shuffle=True, num_workers=num_workers, pin_memory=True) # 训练模型 for epoch in range(num_epochs): model.train() for i, (images, labels) in enumerate(train_loader): images = images.to(rank) labels = labels.to(rank) outputs = model(images) loss = criterion(outputs, labels) optimizer.zero_grad() loss.backward() optimizer.step() if i % 100 == 0: print(f"Epoch [{epoch}/{num_epochs}], Step [{i}/{total_steps}], Loss: {loss.item():.4f}") # 清理进程组 dist.destroy_process_group() ``` 需要注意的是，在使用DDP进行分布式训练时，我们需要确保每个进程的代码都是相同的，否则可能会导致不一致的行为。因此，我们需要使用相同的随机种子、相同的数据加载顺序等等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值