运行Hybridnets的val.py的出现killed
记录一下跑深度学习第一次碰到内存不足的情况(以往out of memery都是out的显存)
情况是这样的,我跑Hybridnets的源码的时候总是只能训练一轮,在跑验证集的时候就被killed了,我的batchsize和numworkers都改到1了,用watch -n 1 nvidia-smi
监控显存的使用情况发现显存完全够用,确认不是显存的原因,于是直接下载了别人的weight拿来evaluation,结果是也被killed了,问题确实出现在模型评价阶段。
使用命令dmesg | tail -7
找到kill的报错信息[5566089.647485] Memory cgroup out of memory: Killed process 1921139 (python) total-vm:57435468kB, anon-rss:28811464kB, file-rss:68356kB, shmem-rss:391176kB, UID:1000 pgtables:64812kB oom_score_adj:0
这表示内存溢出。
使用watch -n 1 free -h
监控内存占用情况,发现进程被kill之前内存占用确实不断上升直到溢出。
换了一个内存大的机器,看了一下内存占用情况发现峰值达到了120G,不过这里numworks是4,换成1的话也得30G以上的内存。
解决方案
先记录一下问题,目前解决方案是直接换机器,但感觉应该是代码写的有问题,同样是同时完成检测任务和分割任务的YOLOPX在evaluation的时候就没出现进程被killed的问题。
之后有时间再详细看下能不能从代码层面解决问题……