恒源云(GpuShare)_加速pytorch训练的方法来喽～

最新推荐文章于 2024-04-25 21:38:26 发布
置顶 最新推荐文章于 2024-04-25 21:38:26 发布
阅读量741 收藏 4
点赞数 1
分类专栏： GPU云 文章标签： pytorch 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39881439/article/details/123397804
版权



被迫营业的小帅酱，分享内容相当干货了，哈哈哈哈。独乐乐不如众乐乐，今天就把小技巧搬运出来给大家瞅一瞅啦！

文章来源 | 恒源云社区

原文地址 | 如何加速pytorch训练？GPU利用率过低？

原文作者 | 小帅酱

想必有时候大家在用云服务器炼丹的时候会遇到GPU利用率忽高忽低，一会0%一会100%。这其实就是对GPU资源的浪费，因为GPU在浪费很多时间在等CPU和内存加载数据进来。最主要是云服务器每时每刻都在烧money，难免不心疼。描述效果如下图：

那么如何解决？？？

我分享一下我个人在平时用的比较多的方法：<

最低0.47元/天 解锁文章
恒源云
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
chinese_wwm_ext_pytorch.zip
09-21
标题 "chinese_wwm_ext_pytorch.zip" 提供了一个关于预训练模型的特定版本，即哈工大（哈尔滨工业大学）发布的BERT模型的WWM-EXT版本，且该模型是用PyTorch实现的。这一模型是自然语言处理领域的重要资源，特别针对...
Person_reID_baseline_pytorch:Pytorch ReID
05-11
Pytorch ReID 强壮，小巧，友善 一个微小，友好，强大的Person-reID基线代码（基于 ）。 强的。 它与一些顶级会议作品中的新基线结果一致，例如， ， ， 。 我们只有Softmax损失才达到Rank@1=88.24%，mAP = 70.68...
本地pytorch代码迁移至华为云ModelArts平台训练
qq_37652891的博客
11-17 3643
本地pytorch代码迁移至华为云ModelArts平台训练 上传代码和数据集至华为云OBS 注册华为云OBS账号并使用AK登录。 参考这篇文件OBS账号注册和登录 修改pytorch本地训练代码文件，新增以下片段。 # 创建解析 parser = argparse.ArgumentParser(description="train flower", formatter_class=argparse.Argumen
cube studio开源一站式云原生机器学习平台--volcano 多机分布式计算
全栈工程师开发手册（原创）https://github.com/tencentmusic/cube-studio
07-27 1711
volcano主要为我们提供index job， 也就是启动多个pod，并为每个pod提供index，role，以及其他role的访问地址。保留单机的代码，添加识别集群信息的代码（多少个worker，当前worker是第几个），添加分工（只处理归属于当前worker的任务），使用volcano这个模板，填上自己的worker数量，每个worker的镜像和启动命令就可以了。3、每个worker里面都判别一遍总共需要处理的数据，和当前worker需要处理的数据。1、单机器算力有限，核数不足。
mmdetection模型配置学习
最新发布
qq_45584615的博客
04-25 1111
官方文档手册。
pytorch训练经典网络笔记
贵在坚持
02-17 513
经典网络笔记(pytorch) 一. 深度学习基本知识 1.1 深度学习分类 深度学习分为监督学习,无监督学习，半监督学习和强化学习。其中监督学习是通过已有的训练样本去训练得到一个最优的模型，这个模型会将所有的输入映射为输出。无监督学习他与监督学习是完全不同的两个东西，它是在我们之前没有任何的训练样本，而直接对数据进行建模分类。半监督学习是在训练过程中结合了大量大量的未标记的数据和少量的标记数据，...
torch的DataLoader 浅析
热门推荐
robator的专栏
12-29 1万+
torch的DataLoader主要是用来装载数据，就是给定已知的数据集，把数据集装载进DataLoaer，然后送入深度学习网络进行训练。先看一下它的声明吧。（官方声明，pytorch 1.10.0文档，参考资料1） DataLoader(dataset, batch_size=1, shuffle=False, sampler=None, batch_sampler=None, num_workers=0, collate_fn=None, pin_memor...
RuntimeError: DataLoader worker is killed by signal: Killed.报错解决
不积跬步，无以至千里！
03-23 1万+
报错解决
mnist.zip_MNIST pytorch_pytorch_pytorch mnist_pytorch network_zi
09-20
在"pytorch_mnist"和"pytorch_network"标签中，再次强调了我们是在PyTorch中使用网络模型处理MNIST数据。这可能意味着文件包含了一个示例，展示如何从头开始创建一个简单的神经网络模型，或者利用预定义的模型类来...
Person_reID_baseline_pytorch-master.zip_Person Re-ID:_PyTorch行人识
09-20
在这个项目中，PyTorch被用来构建和训练深度学习模型，实现对行人特征的提取和匹配。模型可能包括卷积神经网络（Convolutional Neural Networks, CNNs）用于图像特征学习，以及一些特定于行人重识别的结构，如多尺度...
Python库 | vector_quantize_pytorch-0.3.6.tar.gz
04-18
资源分类：Python库 所属语言：Python 资源全名：vector_quantize_pytorch-0.3.6.tar.gz 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059
PyTorch-1.10(十四)--torch.utils.data基本用法
Hanscal
05-24 1349
TORCH.UTILS.DATA At the heart of PyTorch data loading utility is thetorch.utils.data.DataLoaderclass. It represents a Python iterable over a dataset, with support for map-style and iterable-style datasets, customizing data loading order, au..
2 torch.utils.data.DataLoader()
balabooo的博客
02-21 1696
torch.utils.data.DataLoader()的使用方法
关于GPU利用率忽高忽低的问题
weixin_43526952的博客
07-22 4588
重点来了：有时候GPU利用率忽高忽低，高的时候能达到90%，然后立马又降到十几。我发现主要的原因是虽然模型数据已经加载到了gpu，但是后面有些度量函数做运算的时候，这些计算没有to（device），所以当我把所有能加to（device）的向量、类对象等都加上以后，立马利用率就上了，计算也快了很多。总结：忽高忽低大概率是除了模型之外，还有些函数的运算过程没有放到GPU，在cpu做了运算，解决办法就是全部to（device）主要看两个重要指标：①GPU的显存占用；gpu的各状态属性已经有很多帖子都讲的很详细。
tensorflow gradient().tape persistent=True的作用以及其他一些细节
乐趣是人为构建的，构建是一种莫大的乐趣。
05-30 619
使用百度翻译官网的解释： 默认情况下，只要调用GradientTape.gradient（）方法，GradientTape所拥有的资源就会被释放。要在同一计算中计算多个渐变，请创建一个持久渐变磁带。这允许在磁带对象被垃圾收集时释放资源时对gradient（）方法进行多次调用。 通俗说，使用这个参数设为真的话，gradient方法就可以被多次调用了。 ...
Unable to find a valid cuDNN algorithm to run convolution （内有解决方法）
M_ovo的博客
06-27 5320
前几天在云服务器上跑Yolo代码时报的错： 一开始尝试了各种解法，包括更新Conda和重装pytorch。都没有用后来发现是Batch_Size大了....导致显存不够用。服务器上的显存配置如下： 看来还是高估了32G的能力.... 把Batchsize从256调回了128就可以正常运行了。显存基本上是在跑满的状态 至此问题已解决。解决思路：调小Batch Size, 检查代码内是否有内存爆炸等Bug, 调小Num_Workers的数值。...
PyTorch训练中Dataset多线程加载数据，比Dataloader里设置多个workers还要快
jasneik的博客
10-17 7831
PyTorch训练中Dataset多线程加载数据，而不是在DataLoader 背景与需求 现在做深度学习的越来越多人都有用PyTorch，他容易上手，而且API相对TF友好的不要太多。今天就给大家带来最近PyTorch训练的一些小小的心得。 大家做机器学习、深度学习都恨不得机器卡越多越好，这样可以跑得越快，道理好像也很直白，大家都懂。实际上我们在训练的时候很大一部分制约我们的训练的速度快慢被IO限制住了，然面CPU的利用率却不高，就算有8卡了，然而GPU的利用率却长期处理低水平，不能发挥设备本应该有的水平
Pytorch虚拟环境搭建、训练unet、vit、yolov3
一个小男孩
03-25 3698
手把手教你在win10下搭建pytorch GPU环境（Anaconda+Pycharm） - 老潇的摸鱼日记 - 博客园 (cnblogs.com)https://www.cnblogs.com/victorxiao/p/13512258.html【扫盲】PyTorch环境配置_哔哩哔哩_bilibilihttps://www.bilibili.com/video/BV1m4411m7uZ?spm_id_from=333.999.0.0 ...
【深度学习笔记】五步教你使用Pytorch搭建神经网络并训练
DeepLearning_的博客
09-03 8158
文章目录前言一、准备数据&加载数据1.准备数据（分类）2.加载数据二、定义损失函数1自定义损失函数或者使用Pytorch中现有的三、定义网络四、定义优化器五、迭代训练总结 前言 针对刚接触深度学习的小伙伴，肯定很想自己亲手搭建一个网络模型，训练模型。今天作者就五步教大家简单快速搭建一个分类网络，并训练模型，希望对初学者有一定帮助，欢迎大家收藏关注，作者将不断分享更新深度学习中的一些重要知识点。 一、准备数据&加载数据 1.准备数据（分类） 作者是训练分类训练工作服和非工作服，如下图所示.
使用segmentation_models_pytorch实现单模型训练
09-24
### 回答1： segmentation_models_pytorch 是一个基于 PyTorch 的图像分割库，可以用来训练语义分割模型。下面是使用 segmentation_models_pytorch 实现单模型训练的基本步骤： 1. 安装 segmentation_models_pytorch 和其依赖项： ``` pip install segmentation-models-pytorch ``` 2. 加载数据集并进行预处理。可以使用 torchvision 或者其他图像处理库加载数据集，并对数据进行预处理，如裁剪、缩放、归一化等操作。 3. 定义模型。使用 segmentation_models_pytorch 中提供的模型类（如 UNet、FPN、PSPNet 等）来定义模型。 ```python import segmentation_models_pytorch as smp model = smp.Unet( encoder_name="resnet34", # 使用 ResNet34 作为编码器 encoder_weights="imagenet", # 加载预训练权重 in_channels=3, # 输入通道数 classes=2, # 分类数 ) ``` 4. 定义损失函数和优化器。可以选择使用交叉熵损失函数和 Adam 优化器。 ```python import torch.nn as nn import torch.optim as optim criterion = nn.CrossEntropyLoss() optimizer = optim.Adam(model.parameters(), lr=0.001) ``` 5. 训练模型。使用 DataLoader 加载数据集，并对模型进行训练。 ```python from torch.utils.data import DataLoader train_loader = DataLoader(dataset, batch_size=4, shuffle=True) for epoch in range(num_epochs): running_loss = 0.0 for i, data in enumerate(train_loader, 0): inputs, labels = data optimizer.zero_grad() outputs = model(inputs) loss = criterion(outputs, labels) loss.backward() optimizer.step() running_loss += loss.item() print(f"Epoch {epoch+1}, Loss: {running_loss/len(train_loader)}") ``` 6. 保存模型。训练完毕后，可以使用 torch.save() 方法将模型保存到本地。 ```python torch.save(model.state_dict(), "model.pth") ``` ### 回答2： segmentation_models_pytorch是一个基于PyTorch实现的语义分割模型库。使用segmentation_models_pytorch实现单模型训练可以通过以下步骤完成。 首先，安装segmentation_models_pytorch库。可以通过pip install segmentation_models_pytorch命令来安装。 导入所需的库和模型。常用的库包括torch，torchvision和segmentation_models_pytorch。可以使用以下命令导入库： ```python import torch import torchvision.transforms as transforms import segmentation_models_pytorch as smp ``` 加载和预处理训练数据。可以使用torchvision中的transforms来定义一系列的数据预处理操作，例如裁剪、缩放和标准化等。之后，使用torch.utils.data.DataLoader来加载和批量处理数据。 定义模型架构。可以选择使用segmentation_models_pytorch中预定义的模型架构，例如UNet、PSPNet和DeepLab等。根据任务需求选择合适的模型，并初始化相关参数。 定义优化器和损失函数。常见的优化器有Adam和SGD等，损失函数常选择交叉熵损失函数。可以使用torch.optim中的函数来定义优化器，使用torch.nn中的损失函数来定义损失函数。 进行模型训练。使用torch.utils.data.DataLoader加载训练数据集，并迭代训练数据集中的每个批次。将批次数据输入模型中进行前向传播，获取模型的输出。计算损失，并进行反向传播更新模型的参数。重复以上步骤直到达到预定的训练轮数或达到设定的训练目标。 保存和加载训练好的模型。可以使用torch.save函数将训练好的模型保存到指定的文件路径，使用torch.load函数加载保存的模型文件。 以上是使用segmentation_models_pytorch实现单模型训练的基本步骤。根据具体任务和数据的不同，可能还需要进行一些细节操作，例如数据增强、学习率调整和模型评估等。 ### 回答3： segmentation_models_pytorch是一个基于PyTorch的分割模型训练库，可以应用于图像分割任务。下面我将介绍如何使用segmentation_models_pytorch实现单模型训练。 首先，我们需要安装segmentation_models_pytorch库。可以使用pip命令进行安装： ``` pip install segmentation-models-pytorch ``` 在训练之前，我们需要准备好训练数据和标签。通常情况下，训练数据是一些图像，标签则是对应每个像素点的分类或分割结果。 接下来，我们需要导入所需的库： ``` import segmentation_models_pytorch as smp import torch import torch.nn as nn import torch.optim as optim from torch.utils.data import DataLoader, Dataset ``` 然后，我们需要创建一个自定义的数据集类，该类继承自torch.utils.data.Dataset类，并实现__len__和__getitem__方法，用于加载和处理数据。 接着，我们可以选择一个合适的分割模型，比如Unet、FPN等。这些模型可以通过调用smp库中的函数进行初始化，比如： ``` model = smp.Unet( encoder_name="resnet34", encoder_weights="imagenet", classes=1, activation='sigmoid' ) ``` 在这里，我们选择了一个使用ResNet-34作为编码器、预训练权重为ImageNet数据集、分类数为1（二分类问题）的Unet模型。 然后，我们可以定义损失函数和优化器： ``` criterion = nn.BCELoss() optimizer = optim.Adam(model.parameters(), lr=0.001) ``` 接着，我们可以进行训练循环，依次迭代数据进行训练和优化： ``` for epoch in range(num_epochs): for batch in dataloader: inputs, labels = batch optimizer.zero_grad() outputs = model(inputs) loss = criterion(outputs, labels) loss.backward() optimizer.step() ``` 最后，我们可以保存模型并在需要预测时加载模型进行测试： ``` torch.save(model.state_dict(), "segmentation_model.pt") model.load_state_dict(torch.load("segmentation_model.pt")) ``` 以上就是使用segmentation_models_pytorch实现单模型训练的过程。根据具体任务需求，你也可以调整模型、损失函数、优化器等参数来进行更灵活的训练。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值