1.起因:
模型训练过程中内存占用不断增加,训练到30000轮左右已经占用到200G内存.
2.排查过程
查找了网上的一些内存泄漏排查方法,使用了memory_profiler objgraph pympler这三个工具进行排查
参考链接如下:
最终发现内存泄露可能的原因是通过pympler工具,在tker.print_diff()时发现网络训练循环结束后,自定义的两个loss层的自动回传对象仍然未被释放.
3.解决
最终发现问题出在train_net.py中,loss += loss_iter语句,由于loss_iter是一个具有autograd历史的可微变量,因此loss直接加上loss_iter会导致autograd历史不断被保存,内存未被释放.
修改为loss += loss_iter.item()仅仅使用loss_iter数值后问题解决,运行程序在终端使用top命令与free -h命令发现内存不再增加了.