Linux系统训练模型进程被killed，其实类似于显存out of memory

一、寻找原因

Linux中进程被killed时没有任何提示。

可以尝试使用命令（在任何目录下）

sudo dmesg | tail -7

查看出错日志。

发现

意思是要使用的虚拟内存（linux里也叫交换内存swap）不够了。我搞了半天的虚拟内存，不管用。

后来我打开Linux中的系统监视器，盯着训练过程发现，是训练时内存被逐步填满，进而使用虚拟内存。

所以根本原因是内存不足。

就像显存不足out of memory一样，只不过可能是因为什么东西没有放在显存里。

如此一来，这个问题就殊途同归了，如果你最近对原作者的模型有过什么更改，那么问题大概率是出在这里。

二、解决思路

1.是否在模型中使用了list.append()

2.在对dataset数据处理时是否使用了浅拷贝（对array直接使用=号）

3.未完待续