pycharm调试out of memory

在训练一个模型的时候，训练了几个batch后突然报错“out of memory ”。

心想不应该啊，如果是显存不够的话一开始就应该报错，于是在pycharm中调试代码，在debug前，先打开gpustat

watch --color -n1.0 gpustat --out -c #-n 后面参数是几秒刷新一次

于是边执行代码，一边看显存变化，找到问题所在。