Pytorch中的DataLoader内存泄漏导致RAM爆炸
最近跑一个新模型,但是刚开始跑一个epoch,就爆出了CUDA的OOM,看了一眼是RAM占用满了。一开始很懵逼,后面用memory profiler来检查一下,发现内存占用直线上升。到GitHub上提issue,作者让我用larger RAM…(只能说钱多任性)自己肯定得想办法解决,于是接着用memory profiler分析了每行代码和objgraph查看各变量内存占用情况。最后定位在DataLoader有问题。...
原创
2021-08-03 22:14:02 ·
3058 阅读 ·
0 评论