0、问题
python使用logging时,部分异常日志缺失
1、正常启动
每个进程都有三个流(stdin[0],stdout[1],stderr[2])
标准print输出到stdout,未捕获的异常等输出到stderr,或者通过下列方式
print >> sys.stderr, "spam"
sys.stderr.write("spam\n")
os.write(2, b"spam\n")
print("spam", file=sys.stderr)
如果使用pycharm,则默认控制台黑色为stdout,红色为stderr。
1.1、无管道符
python test.py
:
默认控制台输入:stdin
默认控制台输出:stdout,stderr
1.2、定向stdout
python test.py > 1.txt
将stdout定向到1.txt,即将其内容输出到1.txt中,
此时stderr内容还是输出到控制台中(未捕获的异常等)
1.3、定向stdout和stderr
python test.py > 1.txt 2>2.txt
将stdout定向到1.txt,即将其内容输出到1.txt中,
将stderr定向到2.txt,即将其内容输出到2.txt中
1.4、常见启动命令
python test.py > /dev/null 2>&1
将stdout定向到/dev/null中,即不保存其内容,同时2>&1(加&为了区分2>1(表示输出到文件1中)),将stderr定向到stdout。所以stdout和stderr信息都没有了,只有使用logging的FileHandler保存信息。logging的FileHandler只有使用其logger时才输出。
本质上:当使用logging后日志打印,一般会有两种Handler,一种StreamHandler(配置sys.stdout,不然使用logger的info等控制台无输出),一种FileHandler。
当我们调用其info,warning,error时,如果logger配置了两种handler后,才会控制台打印并同时输出到文件中,而此时出现的为捕获异常还是stderr中。
但stderr默认输出到控制台中,所以当未定向stderr时,控制台可以看到异常信息,但日志文件中没有。
1.5、问题缘由
未try catch的异常会默认输出到stderr中,默认使用logging的logger打印日志时,logger没有保存相关stderr的信息,所以导致日志缺失。
2、解决方案
2.1、回调函数
未捕获的异常默认输出为stderr,所以需要修改其输出。
python中有异常回调钩子:
sys.excepthook,threading.excepthook.
所以将其从默认的stderr,通过调用log日志打印保存异常信息。
# 未被捕获的异常处理
def handle_exception(exc_type, exc_value, exc_traceback):
if issubclass(exc_type, KeyboardInterrupt):
sys.__excepthook__(exc_type, exc_value, exc_traceback)
return
logger.error("Uncaught exception:", exc_info=exc_value)
def thread_handle_exception(args):
logger.error("Thread uncaught exception:", exc_info=(args.exc_type, args.exc_value, args.exc_traceback))
# 异常函数钩子
sys.excepthook = handle_exception
# 线程内异常函数钩子
threading.excepthook = thread_handle_exception