pytorch 使用多块显卡训练模型

最新推荐文章于 2024-06-04 16:44:06 发布
最新推荐文章于 2024-06-04 16:44:06 发布
阅读量3.6k 收藏 7
点赞数 2
分类专栏： pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/t20134297/article/details/106419072
版权

一般的程序都是默认了单块显卡训练模型，如果batch_size过大的话，单块显卡是不好使的，这就需要多块显卡并行训练了，如何实现呢，特别简单 ：

net = nn.DataParallel(net).cuda()

上面这行代码就可以实现了，nn.DataParallel()内的参数可以不填，则默认使用所有可以使用的显卡。

如果不设置多显卡并行计算，那么上面的那一句代码改为下面的就行了：

net = net.cuda()

 

Tchunren
关注
  • 2
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
pytorch指定用多张显卡训练_pytorch多gpu并行训练
weixin_39531037的博客
12-19 1111
目录目录pytorch多gpu并行训练1.单机多卡并行训练1.1.torch.nn.DataParallel1.2.如何平衡DataParallel带来的显存使用不平衡的问题1.3.torch.nn.parallel.DistributedDataParallel2.多机多gpu训练2.1.初始化2.1.1.初始化backend2.1.2.初始化init_method2.1.2.1.使用TCP初始...
pytorch yolov3代码理解（3）
ruoruojiaojiao的博客
03-24 1850
3.解读evaluate部分 3.1 evaluate.py 首先从main()函数开始。 def main(): ''' logging.basicConfig打印日志时间，当前执行程序名以及日志信息。 加载各种参数。 ''' logging.basicConfig(level=logging.DEBUG, ...
【pytorch】多GPU同时训练模型
weixin_44883789的博客
10-06 1894
多GPU同时训练，能够解决单张GPU显存不足问题，同时加快模型训练。
pytorch使用多个GPU并行跑
Lison_Zhu's Blog
08-13 5068
https://blog.csdn.net/gaishi_hero/article/details/81139045
AMD Radeon RX7900XTX 双显卡/多显卡本地大语言模型生成内容乱码问题和解决方案（使用IOMMU=PT）
最新发布
Kevsterr的博客
06-04 785
IOMMU=PT解决AMD多显卡大语言模型生成乱码的问题
Pytorch使用多GPU并行训练模型记录
qq_51631764的博客
05-11 1797
本文记录了使用多GPU并行训练模型的过程中遇到的一些问题。
双卡 3080ti 部署 Yi-34B 大模型 - Gradio + vLLM 踩坑全记录
arkohut的博客
01-01 7365
上次介绍了怎么用 vllm 去部署 Yi-34B 的 Int4 版本。这次尝试下 12G 显存的双卡部署，因为这个模型即使是 int4 的版本，也差不多需要至少 20G 的显存，所以如果是 12G 显存的话，也至少需要两块显卡。我这里尝试下用两个 3080Ti 跑起来这个模型。整个过程其实和上个视频的过程是类似的，本来觉得整个过程应该比较顺利，但最后发现还是踩了不少坑，这里我用这个视频把整个过程记录一下供大家参考。
Pytorch DDP原理及配置[最大限度提高GPU利用率]
爱在深秋
10-27 2220
pytorch在单机多卡，多机多卡之间已经做了进一步的优化，最早之前可以使用net = torch.nn.DataParallel(net.cuda(), device_ids=range(torch.cuda.device_count()))来使用多显卡加速运行，但是会受到python GIL锁的限制，导致对CPU的使用率不高，进而导致多显卡之间的协调不足，出现利用率较低的情况。为了解决这个微博替，需要将原来的代码进行说为的修改，使用DDP的方式提高多卡的利用率。
torch.nn.DataParallel的多GPU训练导致OOM解决方法
bb8886的博客
06-15 925
torch.nn.DataParallel的多GPU训练导致OOM解决方法
Pytorch下使用多GPU训练模型
Micheal 超 的博客
11-03 1394
注：本文针对单个服务器上多块GPU的使用，不是多服务器多GPU的使用。 当你的电脑中有多块GPU时，可以增加batch_size来加快训练速度等。 涉及的代码 import torch 判断你的电脑或者pytorch是否能使用GPU来加速模型的训练 torch.cuda.is_available() --> model = model.cuda() 或者device = torch.device("cuda" if torch.cuda.is_available() else "cpu") --
关于pytorch多GPU训练实例与性能对比分析
09-18
在深度学习领域，PyTorch是一个广泛使用的框架，它提供了方便的工具和API来构建和训练神经网络模型。本文将深入探讨如何在PyTorch中进行多GPU训练以及性能对比分析。 首先，多GPU训练的主要目的是加速模型的训练...
pytorch 限制GPU使用效率详解(计算效率)
12-17
总的来说，虽然PyTorch本身不直接支持限制GPU使用效率，但通过调整计算间隔、优化数据加载和利用多GPU并行计算，我们可以有效地管理GPU资源，达到期望的训练效率。在实际应用中，应结合具体项目需求和硬件条件灵活...
机器学习，pytorch英伟达显卡驱动，cndann，适用于cuda12.1以上
04-29
英伟达（NVIDIA）的显卡驱动则是运行PyTorch等GPU加速计算的重要组件，因为GPU在处理复杂的数学运算时速度远超CPU，尤其在训练深度神经网络时。对于CUDA（Compute Unified Device Architecture），它是NVIDIA为GPU...
猫狗识别模型训练实战笔记
11-07
本文档详细记录了作者如何使用趋动云的免费算力资源，特别是ChatGLM3-6B这一预训练模型，来实现猫狗识别模型的训练。 在【任务一】中，首先介绍了如何注册并使用趋动云平台，通过datawhale的专用注册链接可以获得...
深度学习-GPU多卡并行训练总结
记录学习的小白
07-06 3792
首先打乱数据顺序，然后用 11/2 =6（向上取整），然后6乘以GPU个数2 = 12，因为只有11个数据，所以再把第一个数据（索引为6的数据）补到末尾，现在就有12个数据可以均匀分到每块GPU。BatchSampler原理: DistributedSmpler将数据分配到两个GPU上，以第一个GPU为例，分到的数据是6，9，10，1，8，7，假设batch_size=2，就按顺序把数据两两一组，在训练时，每次获取一个batch的数据，就从组织好的一个个batch中取到。后面的部分和单GPU相同。
【keras】一台设备上同时使用多张显卡训练同一个网络模型
Houchaoqun_XMU的博客
03-02 8267
Reference：【简述-zzw】Keras同时用多张显卡训练网络【知乎】如何让keras训练深度网络时使用两张显卡？以 tensorflow 为后端，有两种方法可以在多张GPU上运行一个模型：数据并行和设备并行，参考keras中文文档。数据并行：数据并行将目标模型在多个设备上各复制一份，并使用每个设备上的复制品处理整个数据集的不同部分数据。Keras在keras.utils.multi_gpu...
深度学习双显卡配置_gpu – 我可以在笔记本电脑上使用intel高清显卡实现深度学习模型...
weixin_33181159的博客
01-17 1814
您可以在没有cuda的情况下安装和使用keras,但是你无法使用intel高清显卡加速gpu.如果你使用Theano作为keras的后端,首先安装Theano：# for python2pip install theano# for python3pip3 install theano然后像这样设置〜/ .theanorc文件：[global]floatX = float32device = cp...
pytorch使用多个GPU训练及单个GPU训练的相关问题
qq_44289607的博客
03-08 6201
1 pytorch使用多个GPU同时训练 在pytorch上使用多个GPU(在同一台设备上，并非分布式）进行训练是件非常容易的事情，只要在源代码中添加（修改）两行代码即可。 把模型放在GPU上： device = torch.device("cuda:0") model.to(device) 将tensor复制到GPU上 mytensor = my_tensor.to(device) 注意：调用my_tensor.to(device)会在GPU上返回一个新的my_tensor副本，而不是重写
pytorch使用多张显卡
07-27
在PyTorch中使用多张显卡可以通过数据并行的方式实现模型的训练和推理加速。下面是使用多张显卡的一般步骤： 1. 导入必要的库： ```python import torch import torch.nn as nn import torch.optim as optim import torch.nn.functional as F from torch.utils.data import DataLoader ``` 2. 定义模型： ```python class MyModel(nn.Module): def __init__(self): super(MyModel, self).__init__() # 定义你的模型结构 def forward(self, x): # 定义前向传播过程 return x ``` 3. 初始化多个GPU设备： ```python device = torch.device("cuda" if torch.cuda.is_available() else "cpu") device_ids = [0, 1, 2] # 假设有3个可用的GPU设备 ``` 4. 将模型放到多个GPU上： ```python model = MyModel() model = nn.DataParallel(model, device_ids=device_ids) model.to(device) ``` 5. 定义损失函数和优化器： ```python criterion = nn.CrossEntropyLoss() optimizer = optim.Adam(model.parameters(), lr=0.001) ``` 6. 加载数据并创建数据加载器： ```python train_dataset = ... train_loader = DataLoader(train_dataset, batch_size=64, shuffle=True) ``` 7. 训练模型： ```python model.train() for epoch in range(num_epochs): for data, labels in train_loader: data = data.to(device) labels = labels.to(device) optimizer.zero_grad() outputs = model(data) loss = criterion(outputs, labels) loss.backward() optimizer.step() ``` 8. 在推理阶段，将输入数据也放到GPU上： ```python model.eval() with torch.no_grad(): inputs = inputs.to(device) outputs = model(inputs) ``` 这样就可以在多张显卡上并行地训练和推理模型了。注意，当使用`nn.DataParallel`时，模型的`forward`函数会自动在多个GPU上运行，而不需要我们手动指定。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值