某次训练yolov5时速度突然很慢，gpu_mem一直为0，原因竟是！！！！

已于 2023-11-21 23:33:50 修改
阅读量5.9k 收藏 4
点赞数 1
文章标签： YOLO python 深度学习
于 2023-04-28 16:24:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_63275198/article/details/130428840
版权
在进行Yolov5算法训练时，发现训练过程异常缓慢，原因是gpu_mem为0，即GPU未被用于训练。问题根源是忘记激活conda环境，激活对应的环境后，问题得到解决。记住正确管理并激活conda环境对避免这类低级错误至关重要。
摘要由CSDN通过智能技术生成

某次我像往常一样训练yolov5算法，但是发现训练速度变得超级无敌慢，仔细一看，gpu_mem为0，也就是没有调用gpu来训练，看来原因就出在这里。

用了好多方法后发现，我竟然没有激活conda环境，低级错误好致命。

激活后就好了。 

yolov5是我自己给我的conda环境起的名字。

TINGTING黄
关注
YOLOv8无法使用GPU训练的问题
weixin_70800824的博客
05-10 1377
经过排查，YOLOv8在安装依赖项的时候直接pip install ultralytics，全部集成在了ultralytics里面，但是torch的版本可能是最新的，而你的cuda如果在11.2以下就无法正常调用cuda了。在你的train.py代码中加入：print(torch.cuda.is.available())后运行，如果得到的是false，证明你没有成功的调用cuda来加速你的模型训练。2.下载指定版本的1.10的torch（我这里还使用了清华镜像源进行加速）然后输入y表示yes。
如何处理GPU训练过程中出现内存申请大小为0的错误【The memory alloc size is 0】
Kenji_Shinji的博客
09-13 1200
排查数据集中读取的数据是否有问题，可以通过context.set_context(save_graphs=True)保存图，然后观察*_validate*.ir这一类ir是否生成，如果未生成则说明图还未执行就报错了，基本上就确认了数据集读取数据出现问题了，可以自行排查或者联系MindData开发人员确认。该错误出现是由于内存申请的时候调用接口时传入的申请size为0，因此报错，碰到场景非常少，一般原因是数据集读取的数据是空导致size为0。
【小本本笔记】yolov8跑模型缓慢，内存提示不足？
最新发布
2301_80365008的博客
08-10 656
Closing dataloader mosaic 是指在数据加载过程中，特别是在使用 Mosaic 数据增强时，PyTorch 的 DataLoader 组件正在关闭相关的处理程序或进程。Mosaic 数据增强是一种将多张图像拼接在一起生成新图像的技术，用于提升模型的泛化能力。close_mosaic: 禁用mosaic增强的最后第几个轮次。这是因为opencv对输入的图片像素是有限制的，图片像素过大，opencv算出来的值超过了int的最大值，就会报错。跑模型跑的慢 ，gpu-mem=0是什么意思。
已解决：Windows系统运行yolov10训练时报错：freeze_support()以及GPU_mem=0
qq_47549428的博客
06-12 1077
已解决：Windows系统运行yolov10训练时报错：freeze_support()以及GPU_mem=0@TOC之前用实验室的服务器跑v10的时候按照github上的四个步骤安装环境，很顺利的就跑了起来，但是后来在我自己的电脑上使用同样的步骤再次训练时遇到了下面的问题，虽然能够正常运行，但是调用不了多线程，速度很慢，查看后台发现GPU根本没动，终端也是显示GPU_mem为0，为此上网找了好久的资料，发现有人说是pytorch和cuda版本没对应，或是说用了外置源的问题，为此我配环境无数次花了几个小时也
如何解决nvidia Delta&nvlink gpu卡使用nvidia-smi nvlink -s命令查看NVlink链路状态都是显示未激活？
qq_27815483的博客
07-23 606
本文主要介绍如何解决NVIDIA nvlink gpu卡使用nvidia-smi nvlink -s命令查看NVlink链路状态都是显示未激活状态
YOLOv5训练速度慢的一些解决方法
热门推荐
weixin_54048889的博客
11-19 2万+
针对自建数据集，yolov5模型训练速度很慢的可能原因和解决方法。
yolov5训练加速--一个可能忽视的细节（mmdetection也一样），为什么显卡使用率老是为0？
03-26 1万+
本文仅讨论节省图片加载时间问题，这里面可能有一些容易忽视的细节。
解决YOLOV5出现全为nan和0的问题
qq_52902342的博客
04-18 1万+
yolov5训练时，出现系数为nan和0的问题。一般问题cuda问题和显卡的原因。 显卡为GTX 16XX系列的在cuda使用较新版本时会出现该问题。 例如我自己的问题：飞行堡垒7锐龙版显卡：GTX 1650 cuda11.3（cuda11.5调试过）都会出现该问题 pytorch为1.11.0 。 AutoAnchor: 6.13 anchors/target, 1.000 Best Possible Recall (BPR). Current anchors are a good fit ...
GPU Memory Usage占用而GPU-Util却为0
qq_36201400的博客
09-24 1515
添加num_workers=num，需要多设置一些，就可以使用GPU加速 train_loader = DataLoader(dataset=train_data, batch_size=train_bs, shuffle=True, num_workers=8)
yolov5训练太慢的解决方案
m0_63251896的博客
03-03 2155
yolov5训练太慢的解决方案
【目标检测-YOLO】YOLOv5 Multi-GPU 训练
博观约取，厚积薄发
04-12 8749
📚本指南解释了如何正确地 在一个或者多个机器上 使用 多gpu 在一个数据集上训练训练YOLOv5🚀。2022年4月6日更新。 https://github.com/ultralytics/yolov5/issues/475 在开始之前 克隆仓库并且在一个Python>=3.7.0环境下安装requirements.txt，包括PyTorch>=1.7.Models和datasets自动下载 从最新的 YOLOv5release. git clone htt......
yolov5训练时卡住0%解决方案
weixin_44625028的博客
02-22 6624
用yolov5训练从labelImg标注的数据时，训练时一直卡在0%： Image sizes 640 train, 640 val Using 4 dataloader workers Logging results to runs/train/exp4 Starting training for 10 epochs... Epoch gpu_mem box obj cls labels img_size 0%| | 0/3
yolov5 奇奇怪怪的错误汇总:【版本兼容，模型训练，数据加载，模型加速】
shiter编写程序的艺术
09-20 1462
用起来这么火的库，问题这么多么？
04训练——基于YOLO V8的自定义数据集训练——使用免费在线GPU资源
raozhongbo的博客
08-23 4062
Colab 是一个由 Google Research 团队开发的在线平台，可以让你在浏览器中编写和运行 Python 代码，无需任何配置，免费使用 GPU 和 TPU，还可以方便地与其他人共享你的工作。Google Colab 适合进行机器学习、数据分析和教育等目的。其主要特点有：• 零配置：你只需要一个 Google 账号和一个浏览器，就可以开始使用 Google Colab，无需安装任何软件或硬件。
[UVM]uvm_mem_mam使用方法
元直的博客
02-15 3730
在UVM（Universal Verification Methodology）中，uvm_mem_mam（Memory Allocation Manager）是一种用于在内存模型（uvm_mem）中动态分配和管理连续内存区域的组件。3. （可选）配置策略：uvm_mem_mam支持通过配置策略类（如uvm_mem_mam_policy）来定制分配行为，如地址对齐要求、空闲区合并策略等。若需要，创建并设置自定义策略。
YOLOv5 开始训练时卡住不动了Transferred 548/613 items from /root/autodl-tmp/yolov5l.pt
weixin_46135327的博客
06-08 4530
其实开始训练时，YOLOv5会用外网的一张图片进行测试，如果你本地没有这张图片，它就是会请求外网测试，只有测试完，才会显示测试通过，否则就一直卡着。打开yolov5-master/utils路径下的general.py文件。方案一:查看一下自己是否删了测试图片,如果删了，放回去就好了。不需要chek_online（）YOLOv5 训练时卡住不动了。将注释那一句替换原来的句子。
yolov5训练加速--一个可能忽视的细节（mmdetection也一样），为什么显卡使用率老是为0？（续）
09-03 6058
之前写过一篇yolov5训练加速的文章，将图片缓存到内存或者缓存npy到SSD上以加速图片加载的时间，但是涉及到把原图resize到640的时候会有一些细节需要注意。
YOLOv5训练速度慢 GPU占用率低
Goyavae的博客
03-31 1万+
用Yolo5跑自己的数据集，torch_GPU和CUDA都安装了，使用GPU跑模型，GPU的占用率为1%，设置的epoch为300，batch size为32，大概6min多/epoch，数据集很小，刚过一千。在网上查了相关的文章，发现可能是读取数据造成的，把cache-image的action='store_true'改成'store_false'。
yolov5训练gpu_mem为0
05-17
如果在训练 YOLOv5 时出现了 GPU_mem 为 0 的问题，可能是由于以下原因之一： 1. GPU 显存不足：检查你的 GPU 显存是否足够，如果显存不足，可以尝试减少 batch_size 或者图像大小等参数，以降低显存占用。 2. 显卡驱动问题：检查你的显卡驱动是否安装正确，或者是否需要更新到最新版本。 3. PyTorch 版本问题：检查你所使用的 PyTorch 版本是否与 YOLOv5 所需的版本兼容，建议使用最新版的 PyTorch。 4. 训练代码问题：检查你的训练代码是否有误，是否存在 bug，建议参考 YOLOv5 官方文档中提供的示例代码进行修改。 如果以上方法都无法解决问题，建议提交 issue 到 YOLOv5 的 GitHub 仓库，让开发者进行解答和修复。
评论 13
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值