Yolov8训练时正常,但验证时Cuda out of memory问题的解决方案(非完全解决)

【问题描述】

在Yolov8训练时,训练中正常,但每轮训练中做验证时报错Cuda out of memory:

【解决方案】

往下翻有具体的报错信息:

可知是显存爆了。在没有条件更换训练显卡的情况下,笔者尝试增加with torch.no_grad(),阻止模型验证时,仍计算梯度,导致模型显存溢出。但是这样仍无法解决,甚至验证无法进行【可能这里笔者加的地方有问题,如果有大神希望指导一下!】

因此,本着解决不了问题就解决提出问题的人的原则,直接在训练中关闭验证,等训练结束之后再单独验证。

在原来的训练指令中加上val=FALSE,原来的训练指令默认val=TRUE:

yolo train data=data.yaml model=/data/ctc/yolov8/ultralytics/cfg/models/v8/yolov8x-obb-DWR.yaml epochs=50 imgsz=640 batch=16 workers=8 device='0,1,2,3'

更改后如下:

yolo train data=data.yaml model=/data/ctc/yolov8/ultralytics/cfg/models/v8/yolov8x-obb-DWR.yaml epochs=50 imgsz=640 batch=16 workers=8 device='0,1,2,3' val=FALSE

于是训练过程得以正常进行,但是不在每轮训练中进行验证:

  • 2
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
根据引用\[1\]和引用\[2\]的内容,你使用的是yolov7和yolov5x.yaml进行训练。而根据引用\[3\]的报错信息,你遇到了CUDA内存不足的问题。这个问题通常是由于模型和数据集的大小超过了GPU的内存容量所导致的。 解决这个问题的方法有几种: 1. 减小批量大小(batch size):减小每次训练加载到GPU的数据量,可以通过减小批量大小来解决内存不足的问题。你可以尝试将批量大小设置为更小的值,比如从引用\[1\]中的16减小到8。 2. 减小模型的大小:如果你的模型太大,超过了GPU的内存容量,可以尝试减小模型的大小。你可以尝试使用更小的模型,比如从yolov5x.yaml改为yolov5s.yaml。 3. 增加GPU的内存容量:如果以上方法无法解决问题,你可以考虑使用具有更大内存容量的GPU进行训练,或者使用多个GPU进行训练。 总结起来,要解决"yolov5训练数据集用yolov5x.yaml,报错CUDA out of memory"的问题,你可以尝试减小批量大小、减小模型的大小或增加GPU的内存容量。这样可以帮助你解决CUDA内存不足的问题。 #### 引用[.reference_title] - *1* *2* [yolov7训练自己的数据集及报错处理](https://blog.csdn.net/weixin_53660567/article/details/127201172)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^koosearch_v1,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [yolov5测试报错:RuntimeError: CUDA out of memory.](https://blog.csdn.net/qq_22764813/article/details/126467704)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^koosearch_v1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

北京地铁1号线

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值