logging TimedRotatingFileHandler不支持多进程

最新推荐文章于 2024-05-16 15:16:58 发布
最新推荐文章于 2024-05-16 15:16:58 发布
阅读量1.9k 收藏
点赞数
分类专栏： python 文章标签： python logging 多进程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shiludeng/article/details/75501159
版权

python程序中，我们经常会使用logging进行日志打印，logging的多线程支持得很好，但是对于多进程就无能为力了

多个进程同时写一份日志文件会导致TimedRotatingFileHandler日志切割失败，亲测，我的应用场景是：

使用logging打印日志，分别对应xxx.log 和 xxx.log.wf
同时在调用python脚本的shell脚本中将shell脚本日志append 到xxx.log，检查日志切割时发现只有xxx.log.wf日志正确切割，xxx.log并没有切割，网上搜索一番后发现TimedRotatingFileHandler不支持多进程，甚至可能造成日志丢失

天蓝控
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python TimedRotatingFileHandler 多进程环境下的问题和解决方法
jacke121的专栏
05-18 5284
Python TimedRotatingFileHandler 多进程环境下的问题和解决方法 原文：https://my.oschina.net/lionets/blog/796438 Python 自带了一个 handler 可以实现每天自动切割日志文件的功能（其实支持各种按时间切割的方法，不过按日期切割是最常用的一种）。 切割这件事的触发和执行逻辑可以从BaseRotatingHa...
Python TimedRotatingFileHandler 多进程环境下的问题和解决方法（如flask logging按时间自动切割）
craftsman2020的博客
02-07 3720
Python 自带了一个 handler 可以实现每天自动切割日志文件的功能（其实支持各种按时间切割的方法，不过按日期切割是最常用的一种）。 切割 这件事的触发和执行逻辑可以从 BaseRotatingHandler(logging.FileHandler) 里看到： def emit(self, record): """ Emit a record. Output the record to the file, catering for rollover as described
用Python写一个多进程兼容的TimedRotatingFileHandler
最新发布
it_lihe的博客
05-16 716
所以后面进来的进程会跳过这个判断直接执行下面的逻辑 open 一个新的基于 self.baseFilename 的文件。虽然我在调用的时候加了强制排它锁，但是其他不自愿的比如我再开一个 vim 去编辑该文件是可以绕过这个锁的这个一定要注意。然后在 Rotate 的时候会根据你想要打印的参数生成对应新文件的名字也就是上面函数的 dfn 的值。现在我们要做的就是首先认为文件存在即是已经有人 rename 成功过了，并且在判断文件不存在的时候只允许一个人去 rename ，其他进程如果正好进入临界区就等一等。
用 Python 写一个多进程兼容的 TimedRotatingFileHandler
weixin_34041003的博客
10-23 488
我前面有篇文章已经详细介绍了一下 Python 的日志模块。Python 提供了非常多的可以运用在各种不同场景的 Log Handler. TimedRotatingFileHandler 是 Python 提供的一个可以基于时间自动切分日志的 Handler 类，他继承自 BaseRotatingHandler -> logging.FileHandler 但是他有一个缺点就是没有办法支持...
重写TimedRotatingFileHandler 以兼容多进程
bigcarp的专栏
03-17 1376
TimedRotatingFileHandler有一个缺点就是没有办法支持多进程的日志切换，多进程进行日志切换的时候可能会因为重命名而丢失日志数据 原因在于它的日志并不是直接写在 baseFilename.2022-02-02.log 上，而是先写到 baseFilename上，到了凌晨零点时，把baseFilename 改名为 baseFilename.2022-02-02.log 。然后新建一个baseFilename文件 。 （如果改名时baseFilename.2022-02-02.log已存在
详解Python TimedRotatingFileHandler 多进程环境下的问题和解决方法
牛肉胡辣汤
01-31 5293
在多进程环境下使用Python的TimedRotatingFileHandler可能会引发日志记录重复、文件轮换异常和性能问题。为了解决这些问题，可以使用进程锁、进程专用日志实例或者考虑使用其他日志库。根据实际需求和应用程序的特点，选择适合的解决方法来确保日志记录的一致性、完整性和性能。
python logging日志模块以及多进程日志详解
12-24
更主要是 讨论在多进程环境下如何使用logging 来输出日志， 如何安全地切分日志文件。 1. logging日志模块介绍 python的logging模块提供了灵活的标准模块，使得任何Python程序都可以使用这个第三方模块来实现日志...
python中日志logging模块的性能及多进程详解
09-21
使用Python来写后台任务时，时常需要使用输出日志来记录程序运行的状态，并在发生错误时将错误的详细信息保存下来，以别调试和...本文就介绍了python中日志logging模块性能及多进程的相关资料，需要的朋友可以参考下。
详解Python中logging日志模块在多进程环境下的使用
08-31
当在多进程中使用`logging`时，需要注意的是，虽然`logging`模块在单个进程中是线程安全的，但并不保证在多进程环境下的安全性。因为不同进程之间无法通过标准方式同步对共享文件的访问。为了解决这个问题，可以采取...
Python多进程不要使用TimedRotatingFileHandler
厚积薄发的博客
11-17 9857
在一个多进程的程序中使用TimedRotatingFileHandler, 以自动的切分日志. 运行一段时间后, 发现有大量的日志丢失, 并且程序报下面的异常 Traceback (most recent call last): File "/home/work/python27/lib/python2.7/logging/handlers.py", line 77, in emi
python多进程下实现日志记录按时间分割
12-31
python多进程下实现日志记录按时间分割，供大家参考，具体内容如下 原理：自定义日志handler继承TimedRotatingFileHandler，并重写computeRollover与doRollover函数。其中重写computeRollover是为了能按整分钟/小时/天来分割日志，如按天分割，2018-04-10 00:00:00~2018-04-11 00:00:00，是一个半闭半开区间，且不是原意的：从日志创建时间或当前时间开始，到明天的这个时候。 代码如下： #!/usr/bin/env python # encoding: utf-8 自定义日志处理类 imp
python通过TimedRotatingFileHandler按时间切割日志
09-19
主要介绍了python通过TimedRotatingFileHandler按时间切割日志的方法，本文给大家介绍的非常详细，具有一定的参考借鉴价值,需要的朋友可以参考下
python logging TimedRotatingFileHandler 模块问题排查
weixin_34128839的博客
09-13 1001
我的定时任务会在每天早上5点钟调一个交易，交易中日志用的logging模块，今天发现log有问题，排查如下。查看日志的时候发现本应5点打的日志，日志时间却显示为2016-09-12 21:00:02,379 - INFO - novel.py[line:82] - 择天记查了一遍代码，没有发现问题，然后发现21点和5点差了8个小时，也就是说日志打的是utc时间网上去搜相关...
Python 3 logging.TimedRotatingFileHandler分等级写入不同文件夹
qq_30589271的博客
11-24 2600
Python 3 中的logging 日志文件的回滚模块RotatingFileHandler，主要有两种方式，一种是基于文件的大小进行回滚，第二种是基于当前系统时间进行回滚。但是我们都希望将不同等级的信息放在不同的文件中，第一种目前已有较多的参考，以文件大小方式 当然基于时间回滚的方法即 通过调用TimedRotatingFileHandler（）函数进行配置即可，详细的代码见如下` -- co...
python logging现学现用 – TimedRotatingFileHandler使用方法
热门推荐
Hello World!
07-04 3万+
原文链接： http://openexz.sinaapp.com/2011/10/12/python-logging%e7%8e%b0%e5%ad%a6%e7%8e%b0%e7%94%a8-timedrotatingfilehandler%e4%bd%bf%e7%94%a8%e6%96%b9%e6%b3%95/ TimedRotatingFileHandler这个模块是满足文件名按时间自动更换
gunicorn使用TimedRotatingFileHandler导致日志丢失问题排查&解决
dustless927的博客
12-21 4318
TimedRotatingFileHandler日志滚动原理 python logging模块自带的TimedRotatingFileHandler可以实现日志自动切割，切割这件事的触发和执行逻辑可以从 BaseRotatingHandler(logging.FileHandler) 里看到： def emit(self, record): """ Emit a record. Output the record to the file, catering for rollover
python TimedRotatingFileHandler多进程安全问题解决 + 过期日志删除
qq_37232114的博客
12-02 874
python logger 多进程安全 过期日志自动删除
解决python多进程导致滚动日志丢失问题
LaySwift
10-17 820
解决python多进程导致滚动日志丢失问题
python中logging多进程
12-20
需要注意的是，在多进程环境下，为了避免多个进程同时写入同一个日志文件导致冲突，可以使用`logging.handlers.RotatingFileHandler`或`logging.handlers.TimedRotatingFileHandler`来安全地切分日志文件。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值