两行代码搞定Pytorch多GPU深度学习（DataParallel）

最新推荐文章于 2024-08-09 11:35:37 发布

叫我咸鱼就好

最新推荐文章于 2024-08-09 11:35:37 发布

阅读量1.1k

点赞数 1

分类专栏： python3 Deep Learning pytorch 文章标签： pytorch 深度学习

本文链接：https://blog.csdn.net/yitanjiong4414/article/details/105178256

版权

本文介绍了如何使用Pytorch进行多GPU深度学习训练，只需简单两行代码，即可实现模型的DataParallel封装，从而利用多张GPU提高训练效率。当单GPU显存不足时，可以通过增加GPU数量提升batch size。通常，调用4张GPU可将batch size扩大到单GPU的3-3.5倍。通过在命令行运行特定指令，可以观察到GPU的使用状态，确保多GPU调用成功。

摘要由CSDN通过智能技术生成

当单张显卡无法满足深度学习的训练要求时，可以尝试增加显卡数量。比如当我们想增加batch size，但单张显卡的显存不足时，就需要增加显卡。在Pytorch中调用多张显卡并没有多么麻烦，只需要修改以下部分：

允许显示哪些显卡，在代码开头加入：

import os
os.environ['CUDA_VISIBLE_DEVICES'] = "0, 1, 2, 3"
# 调用四张显卡，显卡编号分别为为0, 1, 2, 3

使用nn.DataParallel包装模型
```
model =
```

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

叫我咸鱼就好

关注关注

1
点赞
踩
8

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

PyTorch深度学习实战（3）——使用PyTorch构建神经网络

盼小辉丶的博客

06-13

6万+

PyTorch 是一个用于构建深度神经网络的库，具有灵活性和可扩展性，可以轻松自定义模型。在本节中，我们将使用 PyTorch 库构建神经网络，利用张量对象操作和梯度值计算更新网络权重，并利用 Sequential 类简化网络构建过程，最后还介绍了如何使用 save、load 方法保存和加载模型，以节省模型训练时间。

用GPU分别采用pytorch和tensorflow跑MNIST（LeNet-5模型）【可初步了解tnesorflow与pytorch转换】

spark的博客

04-28

405

【代码】用GPU分别采用pytorch和tensorflow跑MNIST（LeNet-5模型）【可初步了解tnesorflow与pytorch转换】

参与评论您还未登录，请先登录后发表或查看评论

Torch中多GPU运行代码学习

baidu_36186895的博客

12-04

1037

pytorch多GPU训练简明教程

最新发布

古月居

08-09

738

首先打乱数据顺序，然后用 11/2 =6（向上取整），然后6乘以GPU个数2 = 12，因为只有11个数据，所以再把第一个数据（索引为6的数据）补到末尾，现在就有12个数据可以均匀分到每块GPU。BatchSampler原理: DistributedSmpler将数据分配到两个GPU上，以第一个GPU为例，分到的数据是6，9，10，1，8，7，假设batch_size=2，就按顺序把数据两两一组，在训练时，每次获取一个batch的数据，就从组织好的一个个batch中取到。每个进程都有一个唯一的 rank。

pytorch指定gpu训练_如何在多GPU上训练PyTorch模型

weixin_39639096的博客

11-27

2210

深度学习模型的最大问题之一是它们经常很大，往往无法在单个GPU中进行训练。PyTorch构建了两种在多个GPU中实施分布式训练的方法：nn.DataParalllel和nn.DistributedParalllel。它们是包装和更改代码以及增加在多个GPU中训练网络的功能的简单方法。nn.DataParallel更容易使用，但只需要在一台机器上使用。nn.DataParalllel在每个批次中，仅...

Pytorch并行计算(一): DataParallel

芒果干的博客

10-08

5791

文章目录PyTorch并行计算1. 官网实例2. 使用方法3. 运行过程4. 源代码解读 PyTorch并行计算 nn.DataParallel 1. 官网实例 PyTorch官网的例子:DATA PARALLELISM PyTorch官网的手册:torch.nn.DataParallel(module, device_ids=None, output_device=None, dim=0) 2. 使用方法具体使用也比较简单，如下所示，其余的不需要变化 # 当不限制GPUs的个数时，默认使用全部的GPU

加载模型参数到使用 DataParallel(model) 的模型的两种方法的代码

xdhsCS_cv_ml的博客

03-05

923

load model weights into DataParallel(model) 的两种方法的代码方法一 G = Generator().to(device) G.load_state_dict(torch.load(args.model_path)) G = nn.DataParallel(G) # 这样在传递时 G 的参数会被重置吗？经测试，没有明显差别方法二 G = Generator().to(device) G = nn.DataParallel(G) G.module.load_sta

PyTorch深度学习代码及数据PyTorch深度学习代码及数据

03-01

PyTorch深度学习代码及数据PyTorch深度学习代码及数据PyTorch深度学习代码及数据PyTorch深度学习代码及数据PyTorch深度学习代码及数据PyTorch深度学习代码及数据PyTorch深度学习代码及数据PyTorch深度学习代码及数据...

pytorch多GPU并行运算的实现

09-18

总结来说，PyTorch 的多GPU并行运算通过 `nn.DataParallel` 实现，可以有效地加速深度学习模型的训练。在实践中，要合理分配GPU资源，避免显存溢出，并根据实际情况调整批处理大小。同时，理解不同并行策略的适用...

基于Pytorch深度学习的人脸检测与识别系统完整代码毕业设计可直接运行

03-14

pytorch是一个由facebook开发的深度学习框架，它包含了一些比较有趣的高级特性，例如自动求导，动态构图等。DFace天然的继承了这些优点，使得它的训练过程可以更加简单方便，并且实现的代码可以更加清晰易懂。 DFace...

Balanced-DataParallel:这里是改进了pytorch的DataParallel，使用了平衡第一个GPU的显存使用量

03-21

平衡数据并行这里是改进了pytorch的DataParallel，使用了平衡第一个GPU的显存使用量本代码来自transformer-XL： : 代码不是本人写的，但是感觉很好用，就分享一下。怎么使用：这个BalancedDataParallel类使用起来和DataParallel类似，下面是一个示例代码： my_net = MyNet() my_net = BalancedDataParallel(gpu0_bsz // acc_grad, my_net, dim=0).cuda() 这里包含三个参数，第一个参数是第一个GPU要分配多大的batch_size，但是要注意，如果您使用了渐变累积，那么此处替换的是每次进行运算的实际batch_size大小。举个例子，比如你在3个GPU上面跑代码，但是一个GPU最大只能跑3条数据，但是因为0号GPU还要做一些数据的整合操作，于是0

【pytorch】torch.nn.DataParallel用法详解

热门推荐

sazass的博客

05-10

5万+

参考博客： https://blog.csdn.net/baidu_35120637/article/details/110785801 https://blog.csdn.net/zhjm07054115/article/details/104799661 https://blog.csdn.net/anshiquanshu/article/details/108186955 在多卡的GPU服务器，当我们在上面跑程序的时候，当迭代次数或者epoch足够大的时候，我们通常会使用nn.DataParallel

Pytorch2 如何通过算子融合和 CPU/GPU 代码生成加速深度学习

冷冻工厂

04-29

1365

下面是我们将如何做到这一点： torch.compile() 也允许你提供自己的编译器，但因为我不是编译器工程师，而且我对如何编写编译器一无所知，所以我会提供一个伪造的编译器函数来捕获 TorchDynamo 生成的 FX 图形 IR。计算机编程是神奇的。降低是编译器词典中的一个术语，指的是通过编译器的自动转换和重写将一组广泛的操作（例如 PyTorch API 支持的）映射到一组狭窄的操作（例如硬件支持的）。为了完整起见，我将偏离我们的主要主题，谈谈为什么我们需要根据函数的权重来评估函数的梯度。

win11使用anaconda安装pytorch-gpu版本并训练LeNet网络 Cifar10数据集

weixin_44230855的博客

06-12

973

anaconda安装pytorch gpu版本训练LeNet网络

深度学习pytorch代码：完整的卷积神经网络模型的搭建及训练(含注释)

weixin_44575717的博客

04-11

2500

import torch.optim.optimizer import torchvision # 准备数据集 from torch.utils.tensorboard import SummaryWriter from model import * from torch.utils.data import DataLoader train_data = torchvision.datasets.CIFAR10(r"C:\Users\123\Desktop\python4.7\test03\data".

李沐动手学深度学习V2-GPU在Pytorch中使用

flyingluohaipeng的博客

04-24

1392

1.GPU在Pytorch中使用在PyTorch中，每个数组都有一个设备（device），我们通常将其称为上下文（context）。默认情况下，所有变量和相关的计算都分配给CPU。有时上下文可能是GPU。当我们跨多个服务器部署作业时，事情会变得更加棘手。通过智能地将数组分配给上下文，我们可以最大限度地减少在设备之间传输数据的时间。例如，当在带有GPU的服务器上训练神经网络时，我们通常希望模型的参数在GPU上。 1.1使用nvidia-smi命令来查看显卡信息。 ! nvidia-smi #

Pytorch学习（四）GPU上使用神经网络及数据并行处理

weixin_42835514的博客

10-05

1780

Pytorch学习（四）训练图像分类器总结及GPU上训练神经网络一级目录二级目录三级目录一级目录二级目录三级目录

玩转深度学习——pytorch实现Lenet网络

weixin_47166032的博客

04-28

4904

玩转深度学习——pytorch实现Lenet网络什么是LeNet网络LeNet网络pytorch实现改进LeNet网络增加卷积层尝试修改一些超参数（开始炼丹）什么是LeNet网络 LeNet，它是最早发布的卷积神经网络之一，因其在计算机视觉任务中的高效性能而受到广泛关注。这个模型是由AT&T贝尔实验室的研究员Yann LeCun在1989年提出的（并以其命名），目的是识别图像 [LeCun et al., 1998]中的手写数字。当时，Yann LeCun发表了第一篇通过反向传播成功训练卷积神

pytorch GPU深度学习环境配置

08-18

首先，确保你的计算机上已经安装了合适的显卡驱动程序。然后，按照以下步骤配置PyTorch的GPU深度学习环境： 1. 安装CUDA：CUDA是用于GPU计算的并行计算平台和API。首先，检查你的显卡是否支持CUDA。然后，根据你的显卡型号在NVIDIA官方网站上下载并安装相应版本的CUDA。安装完成后将CUDA的bin目录添加到系统环境变量中。 2. 安装cuDNN：cuDNN是NVIDIA的深度神经网络库。你需要在NVIDIA开发者网站上注册并下载cuDNN。下载完成后，将cuDNN的bin、include和lib目录拷贝到相应的CUDA安装目录下。 3. 创建虚拟环境：使用conda或者virtualenv创建一个新的Python虚拟环境，以便隔离不同项目的依赖。 4. 安装PyTorch：在虚拟环境中使用pip或conda安装PyTorch。根据你的系统和CUDA版本选择合适的PyTorch版本，可以在PyTorch官方网站上找到相应的安装命令。 5. 测试GPU支持：在Python交互式环境中导入PyTorch，并执行以下代码，检查GPU是否被正确识别： ```python import torch print(torch.cuda.is_available()) ``` 如果输出为True，则表示GPU已成功识别。现在你的PyTorch GPU深度学习环境已经配置完成，你可以使用GPU进行深度学习任务了。记得在代码中使用`.cuda()`将模型和数据移动到GPU上进行加速计算。