记一次Pytorch内存泄露的排查与处理
1.起因:模型训练过程中内存占用不断增加,训练到30000轮左右已经占用到200G内存.2.排查过程查找了网上的一些内存泄漏排查方法,使用了memory_profiler ojbgraph pympler这三个工具进行排查参考链接如下:Pytorch超出内存pytorch内存泄漏分析案例 | list转tensormemory_profiler的使用python 内存监控模块之memory_profilerPython 使用objgraph 定位内存泄露排查pyth.
原创
2020-05-12 23:06:06 ·
7818 阅读 ·
1 评论