yolov5s训练时突然C盘爆满，显示OSError: [WinError 1455] 页面文件太小，无法完成操作。

最新推荐文章于 2024-04-26 23:14:09 发布
最新推荐文章于 2024-04-26 23:14:09 发布
阅读量521 收藏
点赞数 10
文章标签： YOLO
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/BaoShihao1206/article/details/137724223
版权

之后发现是内存爆了，用了虚拟内存。（之前从未出现这种情况）

后来我扩大虚拟内存改为D盘，就可以正常训练了。

但我发现训练时内存并没占满，而C盘空间只剩100多mb，以提交内存达到50G左右，（什么鬼？）

训练结束后又恢复正常 了，C盘变回来了。

但是这种情况非常不正常。

我之前训练的时候没有出现过这种情况，16G内存是完全够用的。数据集也不多，batch 设为16，

workers为8，之前都是可以正常训练的。今天突然变成这样了。。。

会不会是代码的问题，因为我出现问题之前修改了网络结构，运行时直接闪退了。在打开发现就成这样了。有大佬解答一下吗？QWQ

BaoShihao1206
关注
  • 10
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
YOLOX训练C盘爆满解决方案
weixin_45679938的博客
03-03 7999
0. 问题描述：COCO数据集训练到一半突然中断，看C盘显示红色，已经没多少内存了（训练时，生成在AppData/Temp中的临时文件太多） 如图所示：随着epoch的增加，文件越来越大（图中还是yolox-tiny），如果采用yolox-x，C盘不大的一下爆了！！ 1. 问题原因： YOLOX-main/yolox/evaluators/coco_evaluator.py中203行左右**tempfile.mkstemp()**创建文件后，没有进行close()和remove()操作 如下图： 2.
OSError: [WinError 126] geos_c.dll
02-11
File "C:\ProgramData\Anaconda3\envs\chineseocr_lite\lib\site-packages\shapely\geometry\base.py", line 18, in from shapely.coords import CoordinateSequence File "C:\ProgramData\Anaconda3\envs\...
YOLO v5训练的时候出现内存相关的异常
Quintin
04-17 1630
YOLOv5出现内存相关异常
YOLOv5环境配置
weixin_45291699的博客
02-06 1856
YOLOv5环境配置 电脑配置：GTX1660Ti， i5 9400 工具：anaconda，pycharm 环境：CUDAv11.0，+cudnn-11.0-windows-x64-v8.0.5.39 本想在NVIDIA官网下载最新的CUDAv11.2但是NVIDIA官网历来容易挂，找同学借用了已经下载好的CUDAv11.0安装。 安装CUDA的过程中C盘空间满了，进行了C盘扩容处理（过程省略，导致QQ和微信存储空间出了问题，重装后解决）。 安装CUDA过程中显示了geforce和其他几个插件出问题百度之
yolov5训练时参数workers与batch-size的常见问题
慕溪同学的博客
03-27 6288
很多新手在使用yolov5训练模型的时候会出现爆内存和爆显存问题，一般就是由于worker和batch_size参数设置过大有关，下面是解决的方法。
Yolov5 4.0缓存问题
qq_41916229的博客
10-22 1472
Yolov5在跑数据集的时候，会在label文件夹里产生两个缓存文件，在更改文件夹目录的时候需要删掉，不然会出现找不到Image not found的问题。
lightgbm报错：OSError [WinError 126] 找不到指定的模块-三种方法
10-13
Traceback (most recent call last): File "<ipython-input-1-bd597743fb90>", line 1, in import lightgbm ...OSError: [WinError 126] 找不到指定的模块。[couln't find the module] 三种方法解决问题
cuda报错 OSError: libcudart.so.10.0: cannot open shared object file: No such file
01-09
有时候会碰到cuda报错，OSError: libcudart.so.10.0: cannot open shared object file: No such file 原因是cuda动态链接库没有链接上。 解决方法如下： cuda10.0： sudo ldconfig /usr/local/cuda-10.0/lib64 cuda...
OSError: no library called "cairo" was found GTK++ windows 安装包
04-20
OSError: no library called "cairo" was found no library called "libcairo-2" was found cannot load library 'libcairo.so.2': libcairo.so.2: cannot open shared object file: No such file or directory ...
OSError: [Errno 22] Invalid argument问题解决
12-21
OSError: [Errno 22] Invalid argument问题解决问题描述解决方法那么问题出在哪了?总结 问题描述 在做SSD目标检测算法的时候，在predict.py文件中遇到了这么一个报错的问题。 // ERROR Traceback (most recent call ...
深度学习目标检测：yolov5环境配置，适合0基础小白，超详细
最新发布
qq_67105081的博客
04-26 1039
对于小白也很简单的yolov5环境配置
YOLOv5训练时出现OSError: [WinError 1455] 页面文件太小，无法完成操作的
weixin_61677703的博客
05-24 1831
结合实际，缩小batch-size或者workers的值。如把workers的值由8改为2或1或0进行尝试，也可以将batch-size的值由16改为8或4（修改batch-size的数值可能影响训练结果的精度等）——高级——更改——选择对应的硬盘（训练所用的盘）——自定义大小（结合可用空间设置初始大小和最大值）造成这种情况的原因主要是电脑的内存不足导致的。可以调整以下参数解决问题。初始大小和最大值的设定结合自己的可用空间，可多次尝试。右键“我的电脑”——高级系统设置——高级——设置。
[深度学习][原创]yolo训练时候提示页面文件太小，无法完成操作5种解决方法
热门推荐
FL1623863129的博客
02-20 1万+
翻看了很多博客，目前提供有4种方法解决，由于方法众多难以验证。看看具体方法 第一种方法：更改虚拟内存 这种方法可以参考文章：但是更改虚拟内存有个问题，究竟是改anaconda3安装磁盘的虚拟内存还是yolov5源码所在磁盘呢，这个网上都没说清楚。但是更改过我有时候可以解决问题，但是YOLO系列——[WinError 1455] 页面文件太小，无法完成操作_Star星屹程序设计的博客-CSDN博客_yolo页面文件太小 有时候就突然不行了，有个博客说法是其实你即使增加虚拟内存实际也是没用的，参考博客已经
深度学习tensorflow运行完成之后C盘爆满，一招解决
weixin_43038752的博客
02-14 6402
  无论是哪一个深度学习平台，过大的训练数据都可能导致错误运行之后C盘爆满？解决方法是使用360或者联想等电脑的电脑管家对缓存进行清理：   问题顺利解决！
笔记本3060显卡使用yolo-v4训练报错显存不足处理
wuxin_variable的博客
04-12 5142
笔记本 3060 显卡使用yolo-v4训练报错显存不足
yolo训练过程killed
ayiya_Oese的博客
04-30 3748
在之前的训练中，一直是正常运行的，但是，做了大量的数据增强之后，训练开始没多久就死掉了 top查看资源之后发现32G的内存，几乎全被占用了，这时候才刚开始训练 训练数据集和验证数据集都特别大，一个epoch还没跑完就杀死了，就是因为内存满了 这时候就想到了训练时使用的一个参数--cache，将这个参数去掉之后，问题就解决了 ...
Debug Tensorflow: 随着训练进行，内存消耗越来越大
yuetan的博客
01-04 1622
环境 ubuntu 18.04 Python 3.8 TensorFlow-gpu 2.3.1 CUDA 11.1 问题 训练时消耗内存越来越多，直到内存完全被占用，服务器连接被迫断开。无报错 解决方案 监控linux内存情况 安装memory-profiler 定位问题所在 from memory_profiler import profile fp=open('memory_profiler.log','w+') @profile(stream=fp) def train_
fuser 使用—— YOLOV5内存溢出——kill nvidai-smi 无pid 的 GPU 进程
TigerZ*的博客
08-18 3072
场景： 当我们使用YOLOV5训练模型时，官方的建议也是使用尽可能大的batch size这样BN更加的准确，训练速度也最快，但是当我们的batch size设置的过大会导致显卡内存溢出，而此时如果是多卡训练，很有可能出现长时间无法退出占用显存。 解决方法： 第一种：使用nvidia-smi，下方有对应的pid。 可以使用kill命令杀掉进程，如下图，可以用如下命令： sudo kill -9 35346 # 杀掉pid为35346的进程 sudo ...
yolov8训练内存不够
04-09
YOLOv8是一种目标检测算法，它是YOLO（You Only Look Once）系列算法的最新版本。YOLOv8相比于之前的版本，在准确性和速度方面都有所提升。然而，由于YOLOv8模型的复杂性和训练数据的规模，可能会导致训练过程中内存不足的问题。 为了解决训练内存不足的问题，可以尝试以下几种方法： 1. 减小批量大小（batch size）：减小每次迭代训练时的批量大小可以降低内存占用。但是需要注意的是，较小的批量大小可能会影响模型的收敛速度和准确性。 2. 减小输入图像的尺寸：将输入图像的尺寸缩小可以减少内存占用。但是需要注意的是，较小的图像尺寸可能会导致目标检测的准确性下降。 3. 使用更小的模型：如果内存仍然不足，可以考虑使用更小的YOLO模型，如YOLOv3或YOLOv4。这些模型相对于YOLOv8来说，参数量和内存占用都较小。 4. 使用分布式训练：将训练任务分布到多台机器上进行并行训练，可以有效地减少单台机器上的内存占用。 5. 使用更高配置的硬件：如果条件允许，可以考虑使用内存更大的服务器或者使用GPU进行训练，以提供更多的内存空间。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值