Linux跑模型发现被kill原因

训练一个模型的过程中，发现直接被kill掉了

 想被kill的明白到底是咋回事，大概查了一下，大概率是因为内存不足系统将程序终止，当系统资源不足时，Linux内核可以决定终止一个或多个进程，非常常见的就是oom，会在系统的物理内存耗光的时候时把你杀死

查看killed日志命令，可以查看被kill的原因：

1.sudo dmesg | tail -7

2.journalctl --list-boots |
awk ‘{ print $1 }’ |
xargs -I{} journalctl --utc --no-pager -b {} -kqg ‘killed process’ -o verbose --output-fields=MESSAGE
3.journalctl -xb | egrep -i 'killed process’

4.egrep -i ‘killed process’ /var/log/messages