关于训练过程内存泄露,知乎上有一些case。今天发现在这些例子之外,存在另外一种,找了很久。。。
https://github.com/pytorch/pytorch/issues/118991
对于torch 2.0.1版本,对于不同shape的tensor输入到CNN网络中,对导致内存缓慢增长,形成内存泄露。
解决方案:
export TORCH_CUDNN_V8_API_DISABLED=1
关于训练过程内存泄露,知乎上有一些case。今天发现在这些例子之外,存在另外一种,找了很久。。。
https://github.com/pytorch/pytorch/issues/118991
对于torch 2.0.1版本,对于不同shape的tensor输入到CNN网络中,对导致内存缓慢增长,形成内存泄露。
解决方案:
export TORCH_CUDNN_V8_API_DISABLED=1