Yolov8训练时正常,但验证时Cuda out of memory问题的解决方案(非完全解决)

【问题描述】

在Yolov8训练时,训练中正常,但每轮训练中做验证时报错Cuda out of memory:

【解决方案】

往下翻有具体的报错信息:

可知是显存爆了。在没有条件更换训练显卡的情况下,笔者尝试增加with torch.no_grad(),阻止模型验证时,仍计算梯度,导致模型显存溢出。但是这样仍无法解决,甚至验证无法进行【可能这里笔者加的地方有问题,如果有大神希望指导一下!】

因此,本着解决不了问题就解决提出问题的人的原则,直接在训练中关闭验证,等训练结束之后再单独验证。

在原来的训练指令中加上val=FALSE,原来的训练指令默认val=TRUE:

yolo train data=data.yaml model=/data/ctc/yolov8/ultralytics/cfg/models/v8/yolov8x-obb-DWR.yaml epochs=50 imgsz=640 batch=16 workers=8 device='0,1,2,3'

更改后如下:

yolo train data=data.yaml model=/data/ctc/yolov8/ultralytics/cfg/models/v8/yolov8x-obb-DWR.yaml epochs=50 imgsz=640 batch=16 workers=8 device='0,1,2,3' val=FALSE

于是训练过程得以正常进行,但是不在每轮训练中进行验证:

评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

北京地铁1号线

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值