运行pytorch 显存充足却显示OOM（out of memory）

背景：

显存容量剩下14000MB，但是我把代码的batchsize改成1也不能跑起来。

问题：

情况1：有缓存未释放

情况2：代码本身有问题

解决方案：

我遇到的是情况2.
因为我的代码对于CIFAR100和CUB200数据集用的是不同的resnet18，对于CIFAR100用的是专属的cifarresnet，修改了网络结构来适应CIFAR100数据集，所以在使用CUB200数据集的时候，–model 参数不能省略，因为代码里默认的超参数是cifarresnet，两者结构不一样。
所以代码运行中，在前向传播的时候会报错，不过报错内容是Out of memory，此时可以从代码本身找找问题。

情况1：
使用fuser -v /dev/nvidia*可以查看每张显卡对应的进程号PID,可以将未在运行的PID kill掉。
kill 9 31200 类似。
要小心别把其他显卡上运行的多GPU进程kill了。