python logging进程不安全问题处理

最新推荐文章于 2023-07-09 22:54:41 发布

flyDeDog

最新推荐文章于 2023-07-09 22:54:41 发布

阅读量894

点赞数

分类专栏： python 文章标签： python logging 多进程

本文链接：https://blog.csdn.net/flyDeDog/article/details/122837586

版权

博客介绍了在多进程环境中使用logging的TimedRotatingFileHandler时可能出现的日志文件被覆盖问题，并提供了一个自定义的CustomTimedRotatingFileHandler类来解决这个问题。这个类通过避免文件重命名，确保在整点时切换日志文件，以实现进程安全的记录。

摘要由CSDN通过智能技术生成

logging模块是进程不安全的, 在多进程模型使用TimedRotatingFileHandler时会有日志文件被覆盖的问题, 这里提出一个解决方式, 重写 TimedRotatingFileHandler, 使用方式相同


from logging import handlers
import time
import logging
import os


class CustomTimedRotatingFileHandler(handlers.TimedRotatingFileHandler):
    """处理进程安全问题, 新生成的日志名称就叫做 icc.log.2022-02-08_08这种, 不存在文件重命名问题, 原本的icc.log依然会被穿件并持有句柄, 但是并不会用到, 改起来不好看"""

    def __init__(self, filename, when='h', interval=1, backupCount=0, encoding=None, delay=False, utc=False, atTime=None):
        super(CustomTimedRotatingFileHandler, self).__init__(filename, when, interval, backupCount, encoding, delay, utc, atTime)

        # 为了让文件在整点的时候切换
        if when.upper() != "H":
            raise TypeError("目前只测试了频率为H")
        t = int(time.time())
        t = t - (t % self.interval)
        self.rolloverAt = self.computeRollover(t)

        # linux上可能执行的顺序和windows不一样, 直接拿到了icc.log的句柄, 导致写入