环境记录:
神船Z8笔记本(3060 Laptop显卡,6G显存)、win10、vs2019、opencv3.4.14、cuda11.2、cudnn11.2、驱动461.40。
训练数据集:
TT100K
训练重要参数:
batch=64
subdivisions=64
width=608
height=608
训练命令:
darknet.exe detector train data\tt100k.data cfg\yolov4-tt100k.cfg yolov4.conv.137 -map
报错信息:
Try to set subdivisions=64 in your cfg-file.
CUDA status Error: file: D:\work-ai\darknet\src\dark_cuda.c : cuda_make_array() : line: 492 : build time: Feb 23 2022 - 12:15:10
CUDA Error: out of memory
Darknet error location: D:\work-ai\darknet\src\dark_cuda.c, check_error, line #69
CUDA Error: out of memory: No error
诊断信息:
使用nvidia-smi检查GPU显存使用情况,发现程序报错未退出时显存已被使用5.39G
诊断结论:
GPU显存不足。
处理方法:
经过向“谢谢大家我爱小谢”请教,将width和height调整为512后,训练不再报错,此时GPU显存使用值为4.5G左右波动。