深度剖析 Python 日志重复打印问题

已于 2022-11-16 17:33:21 修改
阅读量3.5k 收藏 29
点赞数 5
分类专栏： log 文章标签： python 开发语言
于 2022-11-16 17:30:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_31455841/article/details/127889511
版权

python 日志处理流程

  • 使用 python 做日志输出时，首先我们需要一个创建一个 Logger 对象：import logging; logger = logging.getLogger()

    然后就可以用 logger.info/debug/error(msg) 来输出日志

  • 如果只是单纯地打印日志，这样做和 print 没有任何区别。我们期望 log 能有一定的格式，这时就会用到 logging.Formatter

    我们还希望日志不仅在 console 中输出，还要向文件输出

    这样需要给 logger 添加 handler，一个 handler 指向标准输出流，一个 handler 指向文件 handler

    logging.handlers 提供了一些这些常用的 handler

  • 针对不同的输出流进行精准的控制

    比如：在 console 中只输出某些高级别的日志，而在文件日志中输出所有日志

    在 console 中，使用一种输出 formatter，在文件输出中使用另一种 formatter

    不满足于 python 提供的 DEBUG/INFO/WARNING/ERROR/CRITICAL 的控制粒度，想要更精细地控制日志就需要理解日志是如何流转、继承

如下是python官方提供的 log 工作流：

在这里插入图片描述

详细资料请查阅： https://docs.python.org/3/howto/logging.html

python logger 重复打印问题

情景介绍

log 重复打印存在两种情况：

  • 未定义 logger （ logger = logging.getLogger() ），默认使用了 RootLogger，一个 python 程序内全局唯一的，所有 Logger 对象的祖先

    每次实例化返回的都是 RootLogger 对象

  • 自定义的 log 函数，每次调用都实例化，传入相同的 logger name，经验证 logging.getLogger(“name”) 使用了单例模型

    也就是说每次实例化返回的是同一个 logger 对象，然后每次都调用 logger.addHandler(handler) 方法添加日志处理器

    导致 handlers 列表添加了相同的 handler（注意：日志的打印由 handler 控制）

    以此类推，调用几次就会有几个 handler，然后前面打印的 log 就会影响后面定义的 log

总结：

  • 日志重复打印的问题源于 handlers 列表添加了相同的 handler

    附上源码截图
    在这里插入图片描述
    在这里插入图片描述

注意：

验证 logging.getLogger(“name”) 使用了单例模型，最简单的就是打印 logger id

在这里插入图片描述

示例验证

打印日志重复次数会与实例化 log 函数的次数相同，每次实例化都打印出 self.handlers 会发现 handlers 列表累加一个 handler 元素

在这里插入图片描述

示例代码

import logging


def log(msg):
    logger = logging.getLogger()
    handler = logging.FileHandler('test.log')

    logger.setLevel(logging.INFO)  # 设置日志等级
    # 日志输出格式
    formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
    handler.setFormatter(formatter)
    # 输入到控制台
    console = logging.StreamHandler()
    console.setLevel(logging.INFO)
    logger.addHandler(handler)
    logger.addHandler(console)

    print(logger.handlers)

    logger.info(msg)

if __name__ == '__main__':
    log("a")
    log("bb")
    log("ccc")

输出结果

'''
a
bb
bb
ccc
ccc
ccc
[<FileHandler C:\Users\EDY\PycharmProjects\pythonProject1\test.log (NOTSET)>, <StreamHandler <stderr> (INFO)>]
[<FileHandler C:\Users\EDY\PycharmProjects\pythonProject1\test.log (NOTSET)>, <StreamHandler <stderr> (INFO)>, <FileHandler C:\Users\EDY\PycharmProjects\pythonProject1\test.log (NOTSET)>, <StreamHandler <stderr> (INFO)>]
[<FileHandler C:\Users\EDY\PycharmProjects\pythonProject1\test.log (NOTSET)>, <StreamHandler <stderr> (INFO)>, <FileHandler C:\Users\EDY\PycharmProjects\pythonProject1\test.log (NOTSET)>, <StreamHandler <stderr> (INFO)>, <FileHandler C:\Users\EDY\PycharmProjects\pythonProject1\test.log (NOTSET)>, <StreamHandler <stderr> (INFO)>]
'''

解决方法

方法一

  • 打印日志后，通过 removeHandler() 将处理器移除掉

    # 示例
import logging


def log(msg):
    logger = logging.getLogger()
	.....
    logger.info(msg)
    
    #移除处理器
    logger.removeHandler(handler)
    logger.removeHandler(console)

if __name__ == '__main__':
    log("a")
    log("bb")
    log("ccc")
    
# 输出
'''
a
bb
ccc
[<FileHandler C:\Users\EDY\PycharmProjects\pythonProject1\test.log (NOTSET)>, <StreamHandler <stderr> (INFO)>]
[<FileHandler C:\Users\EDY\PycharmProjects\pythonProject1\test.log (NOTSET)>, <StreamHandler <stderr> (INFO)>]
[<FileHandler C:\Users\EDY\PycharmProjects\pythonProject1\test.log (NOTSET)>, <StreamHandler <stderr> (INFO)>]
'''

    相同的 handler 没有被添加到 handlers，日志也就不会重复打印了

方法二

  • 每个 Logger 都使用不同的命名

    自定义 logger

    #!/usr/bin/python
# -*- coding:utf-8 -*-
 
import logging
import time
import os
 
 
class Log(object):
    '''
	封装后的logging
    '''
 
    def __init__(self, logger=None, log_cate='search'):
        '''
            指定保存日志的文件路径，日志级别，以及调用文件
            将日志存入到指定的文件中
        '''
 
        # 创建一个logger
        self.logger = logging.getLogger(logger)
        self.logger.setLevel(logging.DEBUG)
        # 创建一个handler，用于写入日志文件
        self.log_time = time.strftime("%Y_%m_%d")
        file_dir = os.getcwd() + '/../log'
        if not os.path.exists(file_dir):
            os.mkdir(file_dir)
        self.log_path = file_dir
        self.log_name = self.log_path + "/" + log_cate + "." + self.log_time + '.log'
        # print(self.log_name)
 
        fh = logging.FileHandler(self.log_name, 'a')  # 追加模式  这个是python2的
        # fh = logging.FileHandler(self.log_name, 'a', encoding='utf-8')  # 这个是python3的
        fh.setLevel(logging.INFO)
 
        # 再创建一个handler，用于输出到控制台
        ch = logging.StreamHandler()
        ch.setLevel(logging.INFO)
 
        # 定义handler的输出格式
        formatter = logging.Formatter(
            '[%(asctime)s] %(filename)s->%(funcName)s line:%(lineno)d [%(levelname)s]%(message)s')
        fh.setFormatter(formatter)
        ch.setFormatter(formatter)
 
        # 给logger添加handler
        self.logger.addHandler(fh)
        self.logger.addHandler(ch)
 
        # 关闭打开的文件
        fh.close()
        ch.close()
 
    def getlog(self):
        return self.logger

    测试示例

    # a.py
from common.log import Log
log = Log(__name__).getlog()
log.info("I am a.py")

# b.py
from common.log import Log
log = Log(__name__).getlog()
log.info("I am b.py")

# c.py
import b
import a
 
from common.log import Log
 
log = Log(__name__).getlog()
log.info("I am c.py")

# 执行 c.py 脚本输出结果
[2019-01-14 16:24:12,008] b.py-><module> line:6 [INFO]I am b.py
[2019-01-14 16:24:12,009] a.py-><module> line:6 [INFO]I am a.py
[2019-01-14 16:24:12,009] c.py-><module> line:10 [INFO]I am c.py
方法三

  • 在 log 方法里做判断，如果这个 logger 已有 handler，则不再添加 handler

    import logging


def log(message):
    logger = logging.getLogger('testlog')

    #  这里进行判断，如果logger.handlers列表为空，则添加，否则，直接去写日志
    if not logger.handlers:
        streamhandler = logging.StreamHandler()
        streamhandler.setLevel(logging.ERROR)
        formatter = logging.Formatter('%(asctime)s - %(levelname)s - %(name)s - %(message)s')
        streamhandler.setFormatter(formatter)
        logger.addHandler(streamhandler)

    logger.error(message)


if __name__ == '__main__':
    log('hi')
    log('hi too')
    log('hi three')
方法四

  • 还有一个推荐方法，适用所有不同模块调用

    自定义的 logger，封装好以后，直接在 log conf 文件底部实例化 logger ，其他模块调用时都引用实例化好的 logger 对象，节省资源空间

    #!/usr/bin/python
# -*- coding:utf-8 -*-
 
import logging
import time
import os
 
 
class Log(object):
    '''
封装后的logging
    '''
 
    def __init__(self, logger=None, log_cate='search'):
        '''
            指定保存日志的文件路径，日志级别，以及调用文件
            将日志存入到指定的文件中
        '''
 
        # 创建一个logger
        self.logger = logging.getLogger(logger)
        self.logger.setLevel(logging.DEBUG)
        # 创建一个handler，用于写入日志文件
        self.log_time = time.strftime("%Y_%m_%d")
        file_dir = os.getcwd() + '/../log'
        if not os.path.exists(file_dir):
            os.mkdir(file_dir)
        self.log_path = file_dir
        self.log_name = self.log_path + "/" + log_cate + "." + self.log_time + '.log'
        # print(self.log_name)
 
        fh = logging.FileHandler(self.log_name, 'a')  # 追加模式  这个是python2的
        # fh = logging.FileHandler(self.log_name, 'a', encoding='utf-8')  # 这个是python3的
        fh.setLevel(logging.INFO)
 
        # 再创建一个handler，用于输出到控制台
        ch = logging.StreamHandler()
        ch.setLevel(logging.INFO)
 
        # 定义handler的输出格式
        formatter = logging.Formatter(
            '[%(asctime)s] %(filename)s->%(funcName)s line:%(lineno)d [%(levelname)s]%(message)s')
        fh.setFormatter(formatter)
        ch.setFormatter(formatter)
 
        # 给logger添加handler
        self.logger.addHandler(fh)
        self.logger.addHandler(ch)

        # 关闭打开的文件
        fh.close()
        ch.close()
 
    def getlog(self):
        return self.logger

# 实例化 log
concurrent_logger = Log()

    测试示例

    # a.py
from log_conf import concurrent_logger


log = concurrent_logger.getlog()
log.info(f"01: I am a.py")

# b.py
from log_conf import concurrent_logger


log = concurrent_logger.getlog()
log.info(f"01: I am b.py")

# c.py
import a
import b
from log_conf import concurrent_logger


log = concurrent_logger.getlog()
log.info(f"01: I am c.py")

# 执行 c.py 脚本输出结果
[2022-11-16 17:10:35,034] a.py-><module> line:7 [INFO]01: I am a.py
[2022-11-16 17:10:35,035] b.py-><module> line:7 [INFO]01: I am b.py
[2022-11-16 17:10:35,035] c.py-><module> line:9 [INFO]01: I am c.py
方法五

  • 不同模块调用日志，需要将日志存储到对应的模块文件下，方便定位问题

    自定义 logger

    #!/usr/bin/python
# -*- coding:utf-8 -*-

import logging
import time
import os


class Log(object):
    '''
    封装后的logging
    '''

    def __init__(self, logger=None, log_cate='search'):
        '''
            指定保存日志的文件路径，日志级别，以及调用文件
            将日志存入到指定的文件中
        '''

        # 创建一个logger
        self.logger = logging.getLogger(logger)
        self.logger.setLevel(logging.DEBUG)
        # 创建一个handler，用于写入日志文件
        self.log_time = time.strftime("%Y_%m_%d")
        if not os.path.exists(logger):
            os.mkdir(logger)
        self.log_path = logger
        self.log_name = self.log_path + "/" + logger + "." + self.log_time + '.log'

        fh = logging.FileHandler(self.log_name, 'a')  # 追加模式  这个是python2的
        # fh = logging.FileHandler(self.log_name, 'a', encoding='utf-8')  # 这个是python3的
        fh.setLevel(logging.INFO)

        # 再创建一个handler，用于输出到控制台
        ch = logging.StreamHandler()
        ch.setLevel(logging.INFO)

        # 定义handler的输出格式
        formatter = logging.Formatter(
                '[%(asctime)s] %(filename)s->%(funcName)s line:%(lineno)d [%(levelname)s]%(message)s')
        fh.setFormatter(formatter)
        ch.setFormatter(formatter)

        # 给logger添加handler
        self.logger.addHandler(fh)
        self.logger.addHandler(ch)

        # 关闭打开的文件
        fh.close()
        ch.close()

    def getlog(self):
        return self.logger

    测试示例

    # a.py
from log_conf import Log


log = Log("aaa").getlog()
log.info(f"01: I am a.py")

# b.py
from log_conf import Log


log = Log("bbb").getlog()
log.info(f"01: I am b.py")

# c.py
import a
import b
from log_conf import Log


log = Log("ccc").getlog()
log.info(f"01: I am c.py")

    执行 c.py 脚本输出结果
    在这里插入图片描述

I believe I can fly~
关注
  • 5
    点赞
  • 踩
  • 29
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 4
    评论
专栏目录
python logging重复记录日志问题的解决方法
09-20
python的logging模块是python使用过程中打印日志的利器，下面这篇文章主要给大家介绍了关于python logging重复记录日志问题的解决方法，文中通过示例代码介绍的非常详细，需要的朋友可以参考下
python logger 打印多次的问题与解决方案
热门推荐
geekqian的博客
07-17 1万+
学习 Python 不久碰到过这个问题, 记得当时没查出是什么问题. 刚刚无意中发现了这个问题的原因及解决方案, 记录一下. 参考: https://juejin.im/post/5bc2bd3a5188255c94465d31 第一种情况 参考文章中介绍说产生这个问题的原因是因为创建了自定义的 Logger 对象后, 又使用了 logging 中的日志输出方法，这些方法使用的是默认配置的 L...
Python 中日志文件中重复行的问题及其解决方法
D0126_的博客
02-04 413
在使用 Python 编写脚本时，我遇到一个奇怪的问题。我的脚本需要将搜索结果记录到日志文件中。但问题是，每次搜索到的结果都会被记录一次，而第一个结果会被记录多次，第二个结果会被记录两次，以此类推。这样，每个搜索结果都会被记录一次，而第一个结果会被记录多次。
【python】logging日志打印重复输出冗余日志
Moonlight的博客
03-07 5292
日志重复输出，且数量递增。 原因分析：没有移除handler 解决方案：在日志记录完之后removeHandler。 方法一（推荐）： 用前判断，在log方法里做判断，如果这个logger已有handler，则不再添加handler。 方法二： 每次创建不同name的logger，每次都是新logger，不会有添加多个handler的问题。 方法三（兼容性较差，不建议）： 每次记录完日志之后，调用removeHandler()把这个logger里的handler移除掉。
【无标题】python中日志重复打印的解决方案
zxcv123yinmanman的博客
05-15 917
最近在写代码的过程中，遇到日志重复打印的问题，经过查阅资料和打断点分析，主要的原因是logger被多次声明，所以以下列出两种解决方案： #方案一，每次创建handler时先清空handler logger.handlers.clear() #方案二 #为了防止logger被创建很多个handler，这里在创建handler时先进行判断 if not logger.handlers: #handler为空，则创建handler # create console handler and set level to
python避坑指南02——logging模块日志重复打印问题
pangbianlaogu的博客
05-10 6939
目录 一、问题抛出 二、问题解决 一、问题抛出 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;python的logging模块是python使用过程中打印日志的利器。我们可以使用logging模块的logger、Handler、formatter对我们的日志进行封装，指定日志输出的路径、格式以及位置。在声明logger的时候可以...
Python Logging装饰器输出重复日志
A二十一画的博客
09-28 966
当Python装饰器作为日志记录器时，意外导致日志重复输出
14. python日志打印重复问题解决（3种思路）
Following my own heart
09-06 1813
一、 代码如下： # -*-coding:utf8-*- import logging class MyLogging(object): def __new__(cls, level='DEBUG', **channels): """ :param level: 日志输出等级--->str :param channels: ---> 日志输出渠道--->dict，如： {'file':'my_log.log','console':'
解决logging模块输出重复日志的问题
Theshy669的博客
03-29 410
还有一些其他解决方案可以参考https://www.jianshu.com/p/b4be055567f7。如下图所示，logging模块会打印重复日志。
logger重复输出 python
qq_41967963的博客
10-29 873
python logger重复输出
python logging 重复写日志问题解决办法详解
09-16
主要介绍了python logging 重复写日志问题解决办法详解，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
python logging日志打印过程解析
09-18
主要介绍了python logging日志打印过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
Python 根据日志级别打印不同颜色的日志的方法示例
09-18
主要介绍了Python 根据日志级别打印不同颜色的日志的方法示例，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
[python3] 读取一个正在更新的日志文件
言之。
04-24 864
等同于–follow=name --retry，根据文件名进行追踪，并保持重试，即该文件被删除或改名后，如果再次创建相同的文件名，会继续追踪。这两种方法都会持续监听日志文件的变化，并实时读取新增的日志内容。你可以根据实际需求选择其中一种方法。要读取一个正在更新的日志文件（即实时写入的日志文件），你可以使用 Python 的。的技巧来实现实时读取。函数打开文件，并使用。
实现自定义注解、实现自定义幂等性注解
qq_44721738的博客
04-23 1024
添加 Spring AOP 依赖。创建自定义注解。创建一个新的 Java 注解类，通过@interface关键字来定义，并可以添加元注解以及属性。@Target(ElementType.METHOD) //表示作用于方法上@Retention(RetentionPolicy.RUNTIME) // 表示这个注解在运行时是可见的，这样 AOP 代理才能在运行时读取到这个注解编写 AOP 拦截（自定义注解）的逻辑代码。@Aspect@Component// 方法执行前的处理。
【python】python基础1
七月尘上
04-29 313
注释：单行注释：#多行注释：“”“”“”批量注释：ctl+?,取消注释继续执行一次就行标识符命名规范：1、变量名、类名、函数名只能由数字、字母、下划线组成2、不能以数字开头3、严格区分大小写4、不能以关键字命名定义变量的方式：1、var1 = 值12、var1,var2=值1，值23、var1,var2=值1交换两个变量的值：输出命令解析：sep:输出内容以什么进行分割end:输出以什么结尾file:输出内容以文件形式输出到指定文件。
Pandas 2.2 中文官方教程和指南（二十二）
龙哥盟
04-24 1152
原文：pandas.pydata.org/docs/ 时间增量 原文：pandas.pydata.org/docs/user_guide/timedeltas.html 时间增量是时间之间的差异，以不同的单位表示，例如天、小时、分钟、秒。它们可以是正数也可以是负数。 Timedelta是datetime.timedelta的子类，并且行为类似，但也允许与np.timedelta64类型兼容，以及一系列自定义表示、解析和属性。 解析 您可以通过各种参数构造一个Timedelta标量，包括ISO 860
ROS学习教程--第一篇（初试ROS）
最新发布
隔壁老姚的博客
04-29 333
上述命令，会在工作空间下生成一个功能包，该功能包依赖于 roscpp、rospy 与 std_msgs，其中roscpp是使用C++实现的库，而rospy则是使用python实现的库，std_msgs是标准消息库，创建ROS功能包时，一般都会依赖这三个库实现。该文件定义有关软件包的属性，例如软件包名称，版本号，作者，维护者以及对其他catkin软件包的依赖性。在自定义包basic_correspondence的src目录下创建person_talker.py，编辑以下内容。
python 打印日志
05-29
在Python中，打印日志可以使用标准库中的`logging`模块。`logging`模块提供了一个灵活的方式来记录程序运行时产生的信息，可以控制日志的级别、输出位置以及格式等。 以下是一个简单的打印日志的示例： ```python import logging # 配置日志输出的格式 logging.basicConfig(format='%(asctime)s %(levelname)s: %(message)s', level=logging.INFO) # 输出日志信息 logging.debug('This is a debug message.') logging.info('This is an info message.') logging.warning('This is a warning message.') logging.error('This is an error message.') logging.critical('This is a critical message.') ``` 输出的日志格式为`时间 日志级别: 日志信息`，如下所示： ``` 2021-10-08 17:26:46,229 INFO: This is an info message. 2021-10-08 17:26:46,229 WARNING: This is a warning message. 2021-10-08 17:26:46,229 ERROR: This is an error message. 2021-10-08 17:26:46,229 CRITICAL: This is a critical message. ``` 可以看出，日志信息按照级别进行输出，级别从低到高依次是`DEBUG`、`INFO`、`WARNING`、`ERROR`和`CRITICAL`，默认的级别是`WARNING`，可以通过`basicConfig()`函数的`level`参数来设置输出的最低级别。 除了上面的方式外，还可以使用`Logger`类来记录日志，可以更加灵活地控制日志的输出。例如，可以创建一个名为`mylogger`的日志记录器，并设置其输出级别为`DEBUG`： ```python import logging # 创建一个名为'mylogger'的Logger对象 logger = logging.getLogger('mylogger') logger.setLevel(logging.DEBUG) # 配置日志输出的格式 formatter = logging.Formatter('%(asctime)s %(levelname)s: %(message)s') # 创建一个输出到控制台的Handler对象 console_handler = logging.StreamHandler() console_handler.setLevel(logging.DEBUG) console_handler.setFormatter(formatter) # 将Handler对象添加到Logger对象中 logger.addHandler(console_handler) # 输出日志信息 logger.debug('This is a debug message.') logger.info('This is an info message.') logger.warning('This is a warning message.') logger.error('This is an error message.') logger.critical('This is a critical message.') ``` 输出结果与前面的示例相同，但是使用的是`mylogger`这个记录器，并且可以更加灵活地控制日志的输出方式。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

I believe I can fly~

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值