在训练一个模型的时候,训练了几个batch后突然报错“out of memory ”。
心想不应该啊,如果是显存不够的话一开始就应该报错,于是在pycharm中调试代码,在debug前,先打开gpustat
watch --color -n1.0 gpustat --out -c #-n 后面参数是几秒刷新一次
于是边执行代码,一边看显存变化,找到问题所在。
在训练一个模型的时候,训练了几个batch后突然报错“out of memory ”。
心想不应该啊,如果是显存不够的话一开始就应该报错,于是在pycharm中调试代码,在debug前,先打开gpustat
watch --color -n1.0 gpustat --out -c #-n 后面参数是几秒刷新一次
于是边执行代码,一边看显存变化,找到问题所在。