nohup日志丢失恢复

当程序在使用nohup方式后台运行时:

pwd
/home/user/projects/project_name

nohup /home/user/miniconda3/envs/env_name/bin/python main.py --cfg src/config/c.yaml  > run_log/0.log 2>run_log/0_error.log &

删除了nohup的日志文件0.log，发现此时并不会生成新的文件0.log，这也就导致不管是之前还是之后的日志都看不到。

可以使用ps命令查看pid：

ps -aux |grep main.py
user    2620483  102  3.5 148600376 2324324 ?   Rl   8月19 2217:51 /home/user/miniconda3/envs/env_name/bin/python main.py --cfg src/config/c.yaml 

得到pid为2620483，然后在/proc目录下查看对应该pid的相关文件，这里只需要关注fd文件夹：

ls -l /proc/2620483/fd
lr-x------ 1 user user 64 8月  21 10:51 0 -> /dev/null
l-wx------ 1 user user 64 8月  21 10:51 1 -> '/home/user/projects/project_name/run_log/0.log (deleted)'
lrwx------ 1 user user 64 8月  21 10:51 10 -> /dev/nvidia0
...

可以看到1文件软链接到被删除的0.log文件上，我们查看cat /proc/2620483/fd/1就行了。
只要程序没有停止，这个文件是实时更新的，你可以复制该文件到其他地方，如果程序一旦停止，对应该进程的整个文件夹/proc/2620483都会被系统删除。

关于/proc文件:

/proc文件系统下的多种文件提供的系统信息不是针对某个特定进程的，而是能够在整个系统范围的上下文中使用。可以使用的文件随系统配置的变化而变化。命令procinfo能够显示基于其中某些文件的多种系统信息。以下详细描述/proc下的文件。

/proc文件系统是一个伪文件系统，它只存在内存当中，而不占用外存空间。它以文件系统的方式为访问系统内核数据的操作提供接口。用户和应用程序可以通过 proc得到系统的信息，并可以改变内核的某些参数。由于系统的信息，如进程，是动态改变的，所以用户或应用程序读取proc文件时，proc文件系统是 动态从系统内核读出所需信息并提交的。

参考

一次线上nohup.out日志丢失的问题