Pytorch CUDA GPU运算模型训练缓慢的一个可能原因

最新推荐文章于 2024-03-13 11:25:58 发布
最新推荐文章于 2024-03-13 11:25:58 发布
阅读量9.4k 收藏 4
点赞数 3
分类专栏： 杂文 文章标签： 划水
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40714949/article/details/120676776
版权

今天用GPU跑模型的时候，发现训练速度奇慢无比…

第一反应是检查GPU的利用率，输入：

nvidia-smi

在这里插入图片描述

检查风扇利用率，GPU温度以及GPU利用率(框出来的地方)。可以看到风扇正常在转，温度也不高，利用率甚至为0。那么这个时候就比较疑惑了，如果是上述这三个问题倒比较好去针对性的解决。

这个时候去检查了下CPU利用率，输入：

top

在这里插入图片描述
可以发现CPU占用率到了99.3%…这就导致实际上只要涉及到CPU运算，就基本上卡死，导致整体模型训练不动，造成"GPU可能有问题"的假象。

xiongxyowo
关注
  • 3
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
强化学习技巧四：模型训练速度过慢、GPU利用率较低，CPU利用率很低问题总结与分析。
丨汀、的博客
07-09 1万+
1.PyTorchGPU利用率较低问题原因： 在服务器端或者本地pc端， 输入nvidia-smi 来观察显卡的GPU内存占用率（Memory-Usage），显卡的GPU利用率（GPU-util），然后采用top来查看CPU的线程数（PID数）和利用率（%CPU） 1.1 GPU内存占用率问题 这是由于模型的大小以及batch size的大小，来影响这个指标。 GPU的内存占用率主要是模型的大小，包括网络的宽度，深度，参数量，中间每一层的缓存，都会在内存中开辟空间来进行保存，所以模型本身会占
pytorch 使用单个GPU与多个GPU进行训练与测试的方法
01-20
这句代码的意思是将所有最开始读取数据时的tersor变量copy一份到device所指定的GPU上去，之后的运算都在GPU上进行。需要注意的是这句话并不像前面的两行代码一样只需要写一遍，第三行代码需要写的次数就等于需要保存...
为什么我在gpu上训练模型但是gpu利用率为0且运行速度还是很慢？
studyvcmfc的专栏
08-23 3299
https://ask.csdn.net/questions/767461
加速 PyTorch 模型预测常见方法梳理
最新发布
samoyan的博客,记录技术成长~
03-13 592
在使用 PyTorch 进行模型预测时，可以通过多种方法来加快推理速度。
模型在gpu上反而速度变慢了_Tensorflow1.13.1+CUDA10.0+CuDNN7.4在GPU上训练模型
weixin_42351102的博客
01-19 703
在参加十五届全国大学生智能车竞赛时，电磁AI组别需要用到Tensorflow训练模型，CPU训练的速度实在太慢，于是打算用GPU训练，在此记录下配置环境的过程安装Tensorflow关于Python的安装过程在此不做赘述，google上有很多，默认阅读文章的朋友电脑上都有pip。由于最终训练好的模型需要部署到单片机上，需要利用到NXP提供的NNCU工具，而nncu工具与Tensorflow各个版本...
pytorch gpu利用率低_PyTorch消除训练瓶颈 提速技巧
weixin_42388176的博客
01-16 2529
PyTorch消除训练瓶颈 提速技巧【GiantPandaCV导读】训练大型的数据集的速度受很多因素影响，由于数据集比较大，每个优化带来的时间提升就不可小觑。硬件方面，CPU、内存大小、GPU、机械硬盘orSSD存储等都会有一定的影响。软件实现方面，PyTorch本身的DataLoader有时候会不够用，需要额外操作，比如使用混合精度、数据预读取、多线程读取数据、多卡并行优化等策略也会给整个模型优...
pytorch模型训练的时候 GPU 使用率不高
爱在深秋
05-27 1万+
前言： 博主使用的显卡配置为：2*RTX 2080Ti，最近在训练的时候，监控显卡的资源使用情况发现， 虽然同是使用了两张显卡，但是每张显卡的使用率很不稳定，貌似是交替使用，这种情况下训练的速度是很慢的，为了解决 下面是解决这个问题的一些过程。 1. CPU和内存的使用情况 2. 用linux命令查看显卡资源的使用情况 watch -n 1 nvidia-smi 模型执行预测阶段 使用显卡0，但是也只有51%的使用率。 模型在训练阶段，同时使用两张显卡，发现里利用率也不高，我截取的最
pytorch多GPU并行运算的实现
01-20
设置模型参数放置到多个GPU上。在pytorch1.0之后的版本中，多GPU运行变得十分方便，先将模型的参数设置并行 if torch.cuda.device_count() > 1: print(Let's use, torch.cuda.device_count(), GPUs!) model = ...
PyTorch使用cpu加载模型运算方式
12-23
没gpu没cuda支持的时候加载...以上这篇PyTorch使用cpu加载模型运算方式就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持软件开发网。 您可能感兴趣的文章:pytorch构建网络模型的4种方法P
pytorch_sparse:优化的Autograd稀疏矩阵运算的PyTorch扩展库
05-10
该软件包包括一个小型扩展库，该库具有自动分级支持，可优化稀疏矩阵运算。 该软件包当前包含以下方法： 所有包含的操作都适用于不同的数据类型，并且都针对CPU和GPU实施。 为了避免创建 ，此程序包仅通过将index和...
Balanced-DataParallel:这里是改进了pytorch的DataParallel，使用了平衡第一个GPU的显存使用量
03-21
平衡数据并行这里是改进了pytorch的DataParallel，使用了平衡第一个GPU的显存使用量本代码来自transformer-XL： : 代码不是本人写的，但是感觉很好用，就分享一下。怎么使用：这个BalancedDataParallel类使用起来和...
一文彻底搞懂为什么OpenCV用GPU/cuda跑得比用CPU慢？
$firecat利白的代码足迹$
03-27 1万+
最近项目需要，发现了这个问题。网上找原因，汇总起来，有以下几点原因：1、首先对于任何一个CUDA程序，在调用它的第一个CUDA API时后都要花费秒级的时间去初始化运行环境，后续还要分配显存，传输数据，启动内核，每一样都有延迟。这样如果你一个任务CPU运算都仅要几十毫秒，相比而言必须带上这些延迟的GPU程序就会显得非常慢。2、其次，一个运算量很小的程序，你的CUDA内核不可能启动太多的线程，没有足够的线程来屏蔽算法执行时从显存加载数据到GPU SM中的时延，这就没有发挥GPU的真正功能。
pytorch model.cuda()花费时间很长
卷卷萌的博客
04-26 1万+
如果pytorch在进行model.cuda(）操作需要花费的时间很长，长到你怀疑GPU的速度了，那就是不正常的。如果你用的pytorch版本是0.3.0，升级到0.3.1就好了！
cuda c权威编程指南_GPU加速03:多流和共享内存—让你的CUDA程序如虎添翼的优化技术！
weixin_39624816的博客
10-30 423
我和滴滴云有一些合作，没有GPU的朋友可以前往滴滴云上购买GPU/vGPU/机器学习产品，记得输入AI大师码：1936，可享受9折优惠。GPU产品分时计费，比自己购买硬件更划算，请前往滴滴云官网http://www.didiyun.com购买。本文为英伟达GPU计算加速系列的第三篇，前两篇文章为：AI时代人人都应该了解的GPU知识：主要介绍了CPU与GPU的区别、GPU架构、CUDA软件栈简介。超...
深度学习模型使用GPU/cuda推理刚开始会很慢，CUDA/GPU预热加速
unique_zhao的博客
12-27 731
使用深度学习模型推理，即使使用gpu，前几个批次也会格外的慢，使用预热来解决
快速解决深度学习推理过程cuda或tensorRT推理速度变慢的办法【亲测有效】
virobotics的博客
02-20 3806
如果你在使用CUDA或者TensoRT实现深度学习推理检测过程中发现推理检测的速度很慢，那可以查看本文快速解决深度学习推理过程cuda或tensorRT推理速度变慢的问题
李宏毅机器学习课程自测练习题
热门推荐
xiongxyowo的博客
01-01 4万+
2022.1.1 13:25 施工中 目录(计划包含以下内容)： 简介 线性分类与感知机 数学基础 卷积神经网络 循环神经网络 自注意力机制 Transformer 自监督学习 自编码器 对抗生成网络 可解释AI与对抗攻击 领域自适应 深度强化学习 PART1. 序言 人工获得声音的特征与深度学习获得特征相比，以下哪个说法是正确的？ A. 人获得的声音特征一般更好，可解释性性强 B. 通过人工和卷积神经网络结合的方式获得特征综合性能更好 C. 深度学习直接处理声音波形数据获得的特征更全面，因此对声音
信息熵(entropy)定义公式的简单理解
xiongxyowo的博客
09-27 2万+
信息熵(entropy)定义公式的简单理解
训练正常&异常的GAN损失函数loss变化应该是怎么样的
xiongxyowo的博客
08-02 2万+
这里以个人用到的一个网络为例，仅供参考，不代表所有情形。用tensorboard记录loss曲线的走向，横轴为迭代次数(iter)，纵轴为损失(loss)值。
pytorch调用gpu运算
06-01
使用PyTorch调用GPU进行运算非常简单，只需要将数据和模型移动到GPU上即可。 首先，需要确保你的计算机上有可用的GPU，并且已经安装好了相应的驱动和CUDA工具包。 然后，在PyTorch中使用`cuda()`方法将张量或模型移动到GPU上。例如： ``` import torch # 创建一个张量 x = torch.randn(3, 3) # 将张量移动到GPU上 x = x.cuda() ``` 如果你的模型中有多个参数，可以使用`cuda()`方法将整个模型移动到GPU上。例如： ``` import torch.nn as nn # 定义一个模型 class MyModel(nn.Module): def __init__(self): super(MyModel, self).__init__() self.linear = nn.Linear(3, 3) def forward(self, x): return self.linear(x) # 创建一个模型实例 model = MyModel() # 将模型移动到GPU上 model = model.cuda() ``` 这样，你就可以在GPU上进行运算了，例如： ``` # 创建一个输入张量 input = torch.randn(3, 3).cuda() # 使用模型进行前向传播 output = model(input) # 将输出从GPU上移动回CPU output = output.cpu() ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值