为什么在linux服务器上使用nohup python3 xxx.py > xxx.log 2>&1 &代码保存的日志信息中,代码涉及的打印内容不会即时保存在文件中,而是统一大批量保存?
在使用 nohup 运行程序并重定向输出到文件时,涉及到缓冲问题。Python(以及许多其他编程语言的标准库)会对标准输出进行缓冲。这意味着输出不会直接写到目标文件中,而是存储在内存中的一个缓冲区里,直到满足某些条件后才实际写入文件。这种处理方式可以减少对磁盘的写入操作次数,从而提高程序的效率。
缓冲类型
Python 的标准输出(stdout)根据运行环境默认可以是以下几种缓冲类型之一:
全缓冲:数据会积累在缓冲区中,直到缓冲满了,才会写入文件。
行缓冲:每当输出数据包含换行符时,缓冲区会被刷新(即,写入文件中)。
无缓冲:数据直接写入目的地,不经过缓冲区。
当使用 python3 运行脚本且输出被重定向到文件时(如使用 nohup 和重定向),Python 通常会使用全缓冲。因此,数据会在缓冲区积累,直到缓冲区满了或者程序关闭(或flush操作被调用),那时数据才会被写入到日志文件。
解决方法
如果你希望日志信息能即时写入文件,有以下几个解决方案:
1. 手动刷新输出:
在代码中可以使用 sys.stdout.flush() 来强制立即刷新标凈输出的缓冲区。
import sys
print("Some log message")
sys.stdout.flush()
2.使用无缓冲或行缓冲:
你可以通过设置 Python 的运行参数来改变默认的缓冲行为。使用 -u 参数可以使 Python 的 stdout 和 stderr 流无缓冲。
nohup python3 -u xxx.py > xxx.log 2>&1 &
3.修改 PYTHONUNBUFFERED 环境变量:
在运行脚本前,设置环境变量 PYTHONUNBUFFERED 也可以让 Python 运行在无缓冲模式下。
export PYTHONUNBUFFERED=1
nohup python3 xxx.py > xxx.log 2>&1 &
或
nohup env PYTHONUNBUFFERED=1 python3 xxx.py >xxx.log 2>&1 &