在Python服务中，多线程和多进程结合使用logging时可能出现子进程死锁现象，原因在于子进程复制了父进程的logging锁。当父进程锁被占用时，子进程无法释放其复制的锁，导致日志记录阻塞。此问题在线上环境中偶发，难以复现。为解决此问题，可以利用`python-atfork`库在fork前后执行特定回调，释放锁资源。通过`atfork.monkeypatch_os_fork_functions()`和`atfork.atfork()`注册回调函数，修复logging模块中的锁，如`stdlib_fixer.fix_logging_module()`。
参考文档：
https://www.ctolib.com/topics/85107.html
https://twiki.cern.ch/twiki/bin/view/Main/PythonLoggingThreadingMultiprocessingIntermixedStudy
https://github.com/google/python-atfork
服务采用多线程+ 多进程+ logging的模式，服务偶然会出现死锁的子进程。
如下：
通过分析子进程死锁的原因是在子进程复制(multiprocessing中调用os.fork)的时候，会把主进程的logging中的锁也复制了一份，如果这个时候锁是被占用的，子进程的锁就一直是占用的，即使父进程中的锁被释放，也不行。子进程会一直阻塞在获得锁的状态，就没办法记日志了。
测试环境上跑的时候并没有复现这个问题，且线上环境死锁的现象也是偶发的，现需要想办法复现这个问题。
测试：
最低0.47元/天 解锁文章
扫一扫
1171
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
