Ubuntu下GPU显存无法释放和多卡训练时候的一些总结

如果我们正在训练模型的时候，强制ctrl+C 结束进程的话，有时候，GPU的显存不会释放，

一般情况下，我们会用nvidia-smi 的命令进行查看哪个进程占用了GPU显存。

但是有时候我们发现不了具体的进程，应该就是驻留在GPU里了。

如果用这条指令进行查看的话，sudo fuser /dev/nvidia*

下面会出现一些选项，如果用kill 指令杀出的话，可能图形界面也会杀没了。

下面总结一下多卡训练时的一些问题。

如果多卡训练的话，确实得用同一级别的卡来进行训练，或者不能性能差太多的卡来进行训练

做了个测试，

单Gtx 1080ti  4.2 samples /s 一秒钟能跑 4.2个

单Gtx 1070 能跑 2.7-2.8 sample/s 一秒钟能跑2.8个

单nvidia P106 能跑 2.2 sample/s 一秒钟能跑2.2个

Gtx1080Ti +P106   3.8 samples/s 一秒钟能跑3.8个样本

这样看来如果Gtx 1080ti 和P106组会的话，会拖Gtx 1080Ti的后腿。

那么这种组会是不是没有意义了呢，不是的，可以分别跑不同 的任务或者跑 不同的参数。

可以看出在深度学习的应用中，P106 和1070 差的不是很多。

总体来看，Gtx 1080Ti 确实很猛，并且11GB大显存，什么模型都应该能够载入了。