pythorch显卡利用率过低的问题

最新推荐文章于 2024-02-02 10:26:57 发布
最新推荐文章于 2024-02-02 10:26:57 发布
阅读量737 收藏 1
点赞数
分类专栏： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ogzhen/article/details/103977490
版权

在docker中pytorch显卡利用率过低的问题

​ 刚刚在用docker利用用pytorch训练模型的时候报了一个错：RuntimeError: DataLoader worker (pid 493) is killed by signal: Bus error. Details are lost due to multiprocessing. Rerunning with num_workers=0 may give better error trace.

​ 一开始是因为在训练的时候发现显卡的利用率太低了，显卡有一半的时间处于空闲状态，这不行啊，这得训练到何年何月去了，猜测应该是CPU预处理数据耗费了太多时间导致的，于是把DataLoader的num_workers参数设置为8，然后就报了上面那个错误，于是google查了一下，这应该是设置了num_works不为0的时候，导致docker和宿主计算机的共享内存不够了，于是就报了这个错，怎么解决呢？在创建docker的时候加上–shm-size=16G这个参数就ok啦。于是显卡利用率基本都能保持在99%这样了，当然会有点波动，训练速度提升了不少。

ogzhen
关注
专栏目录
pytorch模型训练的时候 GPU 使用率不高
爱在深秋
05-27 1万+
前言： 博主使用的显卡配置为：2*RTX 2080Ti，最近在训练的时候，监控显卡的资源使用情况发现， 虽然同是使用了两张显卡，但是每张显卡的使用率很不稳定，貌似是交替使用，这种情况下训练的速度是很慢的，为了解决 下面是解决这个问题的一些过程。 1. CPU和内存的使用情况 2. 用linux命令查看显卡资源的使用情况 watch -n 1 nvidia-smi 模型执行预测阶段 使用显卡0，但是也只有51%的使用率。 模型在训练阶段，同时使用两张显卡，发现里利用率也不高，我截取的最
python吃显卡还是内存不足_Pythorch中的GPU内存问题,GPUMemoryProblemsinPyTorch,显卡,爆炸,与,利用率,不足...
weixin_39538500的博客
12-05 1188
如今研究人工智能，跑深度学习算法，显卡/GPU绝对是第一大门槛，所以不管您是1080Ti还是V100，如果不能发挥出GPU的最大能力，那它可能就是不是显卡而是块普通的砖头了吧。显卡爆炸显卡爆炸和内存的使用紧密相连，特别是在代码中对某些变量的不当使用，很有可能内存泄露，从而慢慢得导致显卡OOM(out of memory)。一般来说，计算模型时显存主要是模型参数 + 计算产生的中间变量，细分可以占用...
[Ubuntu]: NVIDIA 显卡使用率
cham_3
09-23 1047
Terminal下，使用nvidia-smi命令可以显示当前显卡使用情况。 但是并不能实时的显示，所以在这里，我们用到shell循环语句来达到目的。xxx$:while(true) do nvidia-smi;sleep 1s;done;
显卡利用率低可能的原因汇总
聆雨。
12-26 3903
显卡利用率低的原因汇总
python: symbol lookup error: Rerunning with num_workers=0 may give better error trace.
草莓夹心的博客
03-19 1375
错误信息：RuntimeError: DataLoader worker (pid 26129) exited unexpectedly with exit code 127. Details are lost due to multiprocessing. Rerunning with num_workers=0 may give better error trace. 这里参考了别人的一些做...
Windows下Pytorch训练gpu占用率过低的问题
weixin_62586778的博客
03-17 829
查了很多，基本围绕num_workers, pin_memory。其中pin_memory设置了true，num_workers到2就broken pipe，只能设置0。今天用自己电脑跑训练，发现以下问题，cpu冒大烟，gpu抽大烟，动都不带动一下。准备用公司服务器跑了，自己电脑果然只能测通和不通。linux系统中可以使用。加载数据，windows系统里。
【深度学习】基于PyTorch架构神经网络学习总结（基础概念&基本网络搭建）
最新发布
weixin_62100318的博客
02-02 1204
利用PyTorch架构使用神经网络模型时，一般是利用torch.nn函数自定义神经网络框架 | 官方示例： 对于forward函数相对于是用来说明神经网络中的处理过程，如进行卷积运算的次数与类型等，也可以进行简单的数据处理，如下： 卷积层（convolution） stride参数用于设置卷积核在图像中的运行步数，如果为单个整数则说明横向纵向都是一样的，也可以设置为元组，（H,W）（横向、纵向）默认为1padding：进行填充使用示例： 输出效果：dilation:设置卷积核的间隔，一般设置为
全卷积网络（FCN）实战：使用FCN实现语义分割
www_xuhss_com的博客
03-19 334
Python微信订餐小程序课程视频 https://edu.csdn.net/course/detail/36074 Python实战量化交易理财系统 https://edu.csdn.net/course/detail/35475 **摘要：**FCN对图像进行像素级的分类，从而解决了语义级别的图像分割问题。 本文分享自华为云社区《全卷积网络（FCN）实战：使用FCN实现语义分割》，作者： AI浩。 FCN对图像进行像素级的分类，从而解决了语义级别的图像分割（semantic segmentation
【深度学习】语义分割-综述(卷积)
zhe470719的博客
05-07 3236
这里写目录标题0.笔记参考1. 目的2. 困难点3. 数据集及评价指标3.1数据集3.2评价指标4.实现架构5. 模型发展5.1基于全卷积的对称语义分割模型5.1.1FCN（2014/11/14）5.1.1.1具体过程5.1.1.2 CNN 与 FCN5.1.1.3全连接层 -> 成卷积层5.1.1.4 upsampling5.1.1.5局限5.1.2 SegNet（2015/11/2）5.1.2.1 结构5.1.2.2 decoder变体SegNet-Basic5.1.2.3 对比SegNet和FC
windows10下pytorch的GPU利用率低，占用率低
stay_zezo的博客
08-05 2万+
方法1：window10的任务管理器显示的gpu利用率数据有可能是错的，存在bug, 博主就被这个数据误导了。所以，首先从nvidia-smi或其他软件（如，Gpu-Z等）看gpu真实的利用率。 方法2、第一种情况排除后，就要考虑模型太小，batch-size太小。将改变模型结构，或将batch-size调大。 方法3、如果第二种情况的gpu利用率还是很低，而cpu利用率很高，那瓶颈应该是数据加载的问题，gpu处理太快，cpu经常处于传输数据的过程。所以，启动多线程加载数据，num_worker可以设置
深度学习PyTorch，TensorFlow中GPU利用率较低，CPU利用率很低，且模型训练速度很慢的问题总结与分析
qq_41568188的博客
06-02 5815
在深度学习模型训练过程中，在服务器端或者本地pc端，输入nvidia-smi来观察显卡的GPU内存占用率（Memory-Usage），显卡的GPU利用率（GPU-util），然后采用top来查看CPU的线程数（PID数）和利用率（%CPU）。往往会发现很多问题，比如，GPU内存占用率低，显卡利用率低，CPU百分比低等等。接下来仔细分析这些问题和处理办法。** GPU内存占用率问题 这往往是由于模型的大小以及batch size的大小，来影响这个指标。当你发下你的GPU占用率很小的时候，比如40%，70%
Pytorch GPU内存占用很高，但是利用率很低
Golden-sun的博客
09-22 2万+
1.GPU 占用率，利用率 输入nvidia-smi来观察显卡的GPU内存占用率（Memory-Usage），显卡的GPU利用率（GPU-util） GPU内存占用率（Memory-Usage） 往往是由于模型的大小以及batch size的大小，来影响这个指标 显卡的GPU利用率（GPU-util） 往往跟代码有关，有更多的io运算，cpu运算就会导致利用率变低。比如打印loss, 输出图像，等等 这个时候发现，有一块卡的利用率经常跳到1%，而其他三块卡经常维持在70%以上 2.原因分析 当没有设置好C
GPU Memory Problems in PyTorch（显卡爆炸与利用率不足）
nakaizura
08-15 5729
如今研究人工智能，跑深度学习算法，显卡/GPU绝对是第一大门槛，所以不管您是1080Ti还是V100，如果不能发挥出GPU的最大能力，那它可能就是不是显卡而是块普通的砖头了吧。 显卡爆炸 显卡爆炸和内存的使用紧密相连，特别是在代码中对某些变量的不当使用，很有可能内存泄露，从而慢慢得导致显卡OOM（out of memory）。一般来说，计算模型时显存主要是模型参数 + 计算产生的中间变量，细分可以占用分四个部分： 模型参数 模型计算中间结果 反向传播中间结果 优化器额外参数 但是如果模型出现显卡内存不足
pytorch中Dataloader()中的num_workers设置问题
Elvirangel的博客
09-20 1万+
pytorch中Dataloader()中的num_workers设置问题： 如果num_workers的值大于0，要在运行的部分放进__main__()函数里，才不会有错： import numpy as np import torch from torch.autograd import Variable import torch.nn.functional import matplot...
GPU利用率低的原因
热门推荐
Do not mess it up
10-10 3万+
1. CPU数据读取更不上：读到内存+多线程+二进制文件（比如tf record） 2. GPU温度过高，使用功率太大：每次少用几个GPU，降低功耗（但是多卡的作用何在？）...
深度之眼Pytorch框架训练营第四期——Pytorch中常见报错总结
Ikerlz的博客
06-11 646
PyTorch中的常见报错总结 Pytorch中报错报错信息非常多，这里简单总结十六种常见的报错信息，方便大家Debug 1 报错：ValueError: num_samples should be a positive integer value, but got num_samples=0 可能的原因：传入的Dataset中的len(self.data_info)==0，即传入该dataloader的dataset里没有数据 解决方法： 检查dataset中的路径，路径不对，读取不到数据 检查Data
PyTorch学习笔记-7.PyTorch训练技巧
ruoqi23的博客
08-03 2513
7.PyTorch训练技巧 7.1.模型保存与加载 保存： torch.save 主要参数： • obj：对象 • f：输出路径 保存分为两种模式： 1:保存整个Module，即保存了整个模型的框架和参数 torch.save(net, path) 2:保存模型参数，即只保存模型的参数，下次使用时需要自己重新构建框架 state_dict = net.state_dict() torch.save(state_dict , path) 加载： 2. torch.load 主要参数 • f：..
pytorch中num_workers详解
kaggle expert，全球排名前1000，清华计算机研究生，兴趣算法工程
06-22 1万+
利用anaconda安装pythorch和pa
05-02
nda，你可以按照以下步骤进行操作： 1. 首先，下载并安装Anaconda软件包，可以在官网https://www.anaconda.com/products/individual 下载。 2. 打开Anaconda Prompt命令行窗口（Windows用户）或终端（Mac或Linux用户）。 3. 创建一个新的环境（可选），可以使用以下命令： ``` conda create --name myenv ``` 其中，myenv为你想要创建的环境名称。 4. 激活环境，可以使用以下命令： ``` conda activate myenv ``` 其中，myenv为你想要激活的环境名称。 5. 安装PyTorch，可以使用以下命令： ``` conda install pytorch torchvision torchaudio -c pytorch ``` 6. 安装Pandas，可以使用以下命令： ``` conda install pandas ``` 7. 安装完成后，可以在Python代码中导入PyTorch和Pandas模块，例如： ``` import torch import pandas as pd ``` 以上步骤可以帮助你安装PyTorch和Pandas，如果有其他问题，可以随时向我提问。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值