【Python日志功能】二.高级配置与日志处理器

已于 2024-09-17 21:40:33 修改
阅读量860 收藏 16
点赞数 10
文章标签： python
于 2024-09-16 11:56:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_52466006/article/details/142300942
版权

文章目录

相关链接

第二篇：高级配置与日志处理器

在开发过程中，日志系统不仅仅是简单的消息输出工具，它可以通过不同的配置实现更为强大的功能，包括日志轮转、时间控制、格式化和过滤等。本文将深入探讨日志处理器、日志格式器和日志过滤器的高级配置，结合模拟实践进行演示。

1 日志处理器（Handlers）

日志处理器是 logging 模块的核心组件之一，它决定了日志消息的输出位置。常用的日志处理器包括：

  • StreamHandler: 将日志输出到控制台或其他流。
  • FileHandler: 将日志输出到文件。
  • RotatingFileHandler: 将日志输出到文件，并在文件达到指定大小时进行轮转。
  • TimedRotatingFileHandler: 将日志输出到文件，并在指定时间间隔后进行轮转。

1.1 StreamHandler

StreamHandler 将日志输出到控制台或其他流（如 sys.stdout 或 sys.stderr）。

StreamHandler.py

import logging

# 创建日志记录器
logger = logging.getLogger('stream_logger')
logger.setLevel(logging.DEBUG)

# 创建控制台处理器
console_handler = logging.StreamHandler()
console_handler.setLevel(logging.DEBUG)

# 创建并设置日志格式器
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
console_handler.setFormatter(formatter)

# 将处理器添加到日志记录器
logger.addHandler(console_handler)

# 记录日志
logger.debug('This is a DEBUG message')
logger.info('This is an INFO message')
logger.warning('This is a WARNING message')
logger.error('This is an ERROR message')
logger.critical('This is a CRITICAL message')

控制台输出：

2024-09-16 11:16:05,188 - stream_logger - DEBUG - This is a DEBUG message
2024-09-16 11:16:05,188 - stream_logger - INFO - This is an INFO message
2024-09-16 11:16:05,189 - stream_logger - WARNING - This is a WARNING message
2024-09-16 11:16:05,189 - stream_logger - ERROR - This is an ERROR message
2024-09-16 11:16:05,189 - stream_logger - CRITICAL - This is a CRITICAL message

1.2 FileHandler

FileHandler 将日志输出到指定文件。

FileHandler.py:

import logging

# 创建日志记录器
logger = logging.getLogger('file_logger')
logger.setLevel(logging.DEBUG)

# 创建文件处理器
file_handler = logging.FileHandler('log/file_log.log')
file_handler.setLevel(logging.DEBUG)

# 创建并设置日志格式器
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
file_handler.setFormatter(formatter)

# 将处理器添加到日志记录器
logger.addHandler(file_handler)

# 记录日志
logger.debug('This is a DEBUG message')
logger.info('This is an INFO message')
logger.warning('This is a WARNING message')
logger.error('This is an ERROR message')
logger.critical('This is a CRITICAL message')

log/file_log.log输出：

2024-09-16 11:20:29,829 - file_logger - DEBUG - This is a DEBUG message
2024-09-16 11:20:29,829 - file_logger - INFO - This is an INFO message
2024-09-16 11:20:29,829 - file_logger - WARNING - This is a WARNING message
2024-09-16 11:20:29,829 - file_logger - ERROR - This is an ERROR message
2024-09-16 11:20:29,829 - file_logger - CRITICAL - This is a CRITICAL message

1.3 RotatingFileHandler

RotatingFileHandler 将日志输出到文件，并在文件达到指定大小时进行轮转。它可以保留多个备份文件。

import logging
from logging.handlers import RotatingFileHandler
import os

# 获取脚本所在目录
script_dir = os.path.dirname(os.path.abspath(__file__))

# 定义日志文件的路径
log_file_path = os.path.join(script_dir, 'log/rotating_file.log')

# 创建日志记录器
logger = logging.getLogger(__name__)
logger.setLevel(logging.DEBUG)  # 设置日志记录器的日志级别

# 创建控制台处理器并设置日志级别
console_handler = logging.StreamHandler()
console_handler.setLevel(logging.INFO)

# 创建文件轮转处理器并设置日志级别
# rotating_file_handler = RotatingFileHandler(log_file_path, maxBytes=1*1024*1024, backupCount=5)  # 1MB
rotating_file_handler = RotatingFileHandler(log_file_path, maxBytes=1*1024, backupCount=5) # 1KB
rotating_file_handler.setLevel(logging.INFO)

# 创建格式化器
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')

# 将格式化器添加到处理器
console_handler.setFormatter(formatter)
rotating_file_handler.setFormatter(formatter)

# 将处理器添加到日志记录器
logger.addHandler(console_handler)
logger.addHandler(rotating_file_handler)

# 测试日志输出
for i in range(10000):
    logger.debug('This is a debug message')
    logger.info('This is an info message')
    logger.warning('This is a warning message')
    logger.error('This is an error message')
    logger.critical('This is a critical message')

log目录：

1.4 TimedRotatingFileHandler

TimedRotatingFileHandler 将日志输出到文件，并在指定时间间隔后进行轮转。例如，每天创建一个新的日志文件。

TimedRotatingFileHandler.py:

import logging
from logging.handlers import TimedRotatingFileHandler
import os

# 获取脚本所在目录
script_dir = os.path.dirname(os.path.abspath(__file__))

# 定义日志文件的路径
log_file_path = os.path.join(script_dir, 'log/timed_rotating_file.log')

# 创建日志记录器
logger = logging.getLogger(__name__)
logger.setLevel(logging.DEBUG)

# 创建控制台处理器并设置日志级别
console_handler = logging.StreamHandler()
console_handler.setLevel(logging.INFO)

# 创建时间轮转处理器，每分钟轮转一次日志文件
timed_rotating_handler = TimedRotatingFileHandler(log_file_path, when="M", interval=1, backupCount=5)
timed_rotating_handler.setLevel(logging.INFO)

# 创建格式化器
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')

# 将格式化器添加到处理器
console_handler.setFormatter(formatter)
timed_rotating_handler.setFormatter(formatter)

# 将处理器添加到日志记录器
logger.addHandler(console_handler)
logger.addHandler(timed_rotating_handler)

# 测试日志输出
for i in range(100):
    logger.debug('This is a debug message')
    logger.info('This is an info message')
    logger.warning('This is a warning message')
    logger.error('This is an error message')
    logger.critical('This is a critical message')

第一次运行代码，注意log前10行的输出。

隔几分钟第二次运行代码，我们会发现文件重置了：

2 日志格式器（Formatters）

日志格式器用于定义日志消息的显示格式。格式器通过指定格式字符串来控制日志输出的外观。

常用格式字符串：

  • %(asctime)s: 日志记录时间
  • %(name)s: 日志记录器的名称
  • %(levelname)s: 日志级别
  • %(message)s: 日志消息内容

Formatters.py:

import logging

# 创建日志记录器
logger = logging.getLogger('formatted_logger')
logger.setLevel(logging.DEBUG)

# 创建控制台处理器
console_handler = logging.StreamHandler()
console_handler.setLevel(logging.DEBUG)

# 创建并设置不同的日志格式器
formatter1 = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
formatter2 = logging.Formatter('%(levelname)s: %(message)s (%(asctime)s)')

console_handler.setFormatter(formatter1)

# 将处理器添加到日志记录器
logger.addHandler(console_handler)

# 记录日志
logger.debug('This is a DEBUG message')
logger.info('This is an INFO message')

# 切换日志格式器
console_handler.setFormatter(formatter2)

# 记录更多日志
logger.warning('This is a WARNING message')
logger.error('This is an ERROR message')
logger.critical('This is a CRITICAL message')

控制台输出：

2024-09-16 11:39:34,945 - formatted_logger - DEBUG - This is a DEBUG message
2024-09-16 11:39:34,946 - formatted_logger - INFO - This is an INFO message
WARNING: This is a WARNING message (2024-09-16 11:39:34,946)
ERROR: This is an ERROR message (2024-09-16 11:39:34,946)
CRITICAL: This is a CRITICAL message (2024-09-16 11:39:34,946)

3 日志过滤器（Filters）

日志过滤器用于过滤日志记录器生成的日志消息。过滤器可以基于自定义规则筛选日志消息。

import logging

class CustomFilter(logging.Filter):
    def filter(self, record):
        # 仅允许记录包含 'special' 关键字的日志消息
        return 'special' in record.msg

# 创建日志记录器
logger = logging.getLogger('filtered_logger')
logger.setLevel(logging.DEBUG)

# 创建控制台处理器
console_handler = logging.StreamHandler()
console_handler.setLevel(logging.DEBUG)

# 创建并设置日志格式器
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
console_handler.setFormatter(formatter)

# 创建并添加日志过滤器
custom_filter = CustomFilter()
console_handler.addFilter(custom_filter)

# 将处理器添加到日志记录器
logger.addHandler(console_handler)

# 记录日志
logger.debug('This is a DEBUG message')
logger.info('This is an INFO message with special keyword')
logger.warning('This is a WARNING message')
logger.error('This is an ERROR message with special keyword')
logger.critical('This is a CRITICAL message')

控制台输出：

2024-09-16 11:45:00,784 - filtered_logger - INFO - This is an INFO message with special keyword
2024-09-16 11:45:00,785 - filtered_logger - ERROR - This is an ERROR message with special keyword

4 文章总结

在本篇文章中，我们深入探讨了Python logging 模块的高级配置，重点介绍了如何使用不同的日志处理器（如StreamHandler、FileHandler、RotatingFileHandler、TimedRotatingFileHandler）来灵活控制日志的输出位置和方式。我们还讨论了日志格式器的使用，使得日志信息更直观、易读。通过应用日志过滤器，我们可以根据自定义规则过滤日志消息，从而提高日志的可控性和效率。

在第三篇文章中，我们将重点探讨如何在多模块项目中进行日志记录的协作。日志系统不仅仅是单一模块的工具，多个模块之间的日志管理需要统一配置和协作。我们将介绍如何在不同模块中使用相同的日志配置，确保日志消息能有效地集中管理和记录。同时，我们会详细讲解如何在各个模块中使用 debug、info、warning、error、critical 等日志级别方法，记录不同类型的事件。此外，还将展示如何通过 exception 方法记录异常信息，保证错误信息在多模块项目中也能清晰呈现。

Twilight Sparkle.
关注
python中的日志
liunianhuakai的博客
07-12 234
日志级别 DEBUG：调试信息，也是最详细的日志信息 INFO：证明事情按预期工作 WARNING：表明发生了一些意外，或者不久的将来会发生问题，还是能正常工作。 ERROR：由于更严重的问题，已经不能执行一些功能了。 CRITICAL：严重错误，不能继续运行了。 （上面列表中的日志等级是从上到下依次升高的） logging模块 logging构成 Logger记录器，提供了应用程序可一直使用的接口。 Handler处理器，将日志记录发送到合适的路径。 Filter过滤器，提供了更细粒度的控制工具来决
python日志处理
Mpc
11-28 275
一、日志概念 日志是一种可以追踪某些软件运行时所发生事件的方法。 软件开发人员可以向他们的代码中 调用日志记录相关的方法来表明发生了某些事情。 一个事件可以用一个可包含可选变量数据 的消息来描述。 此外，事件也有重要性的概念，这个重要性也可以被称为严重性级别(level)。 Python自身也提供了一个用于记录日志的标准库模块–logging。 logging模块定义的函数和 类为应用程序和库的开...
Python日志logging实战教程
qq_41314882的博客
11-14 2096
日志数据的核心就是日志消息或日志，日志消息是计算机系统、设备、软件等在某种刺激下反应生成的东西。日志数据（log data）就是一条日志消息的内在含义，用来告诉你为什么生成日志消息的信息。日志（log）指用于展示某些事件全貌的日志消息的集合。
【Python日志模块全面指南】：记录每一行代码的呼吸，掌握应用程序的脉搏
书山有路勤为径，学海无涯苦作舟。
06-20 6596
【代码】【Python日志模块全面指南】：记录每一行代码的呼吸，掌握应用程序的脉搏。
Python日志
紫青宝剑的博客
12-15 2859
日志整合 1.logging模块 logging模块,这个模块的功能是记录我们软件的各种状态,你们现在和我一起找到红蜘蛛的那个图标,然后右键找一找是不是有个错误日志.其实每个软件都是有错误日志的,开发人员可以通过错误日志中的内容对他的程序进行修改, 我们也需要写日志 1.1函数式简单配置 我们先来看一下***函数式简单配置*** import logging#导入默哀快 logging.debug('debug message') logging.info('info message') loggi
python-日志处理
weixin_50222618的博客
11-21 864
一.什么是日志 日志：跟踪软件运行时间的方法（跟踪器） 日志作用：调试程序定位问题；数据分析；用户信息跟踪 二.python如何实现日志的收集 1.python内置模块 logging 2.logging模块的基本应用 四大组件： (1)日志器：logger 给所有应用程序提供入口 (2)处理器：handler 决定在不同端实现输出 (3)格式器：formatter 决定日志内容（包含什么信息(时间，行数，信息描述，日志级别） (4)过滤器：filter 对信息进行筛选，保留感...
Python 在logging.config.dictConfig()日志配置方式下，使用自定义的Handler处理程序
热门推荐
小青龍 的博客
08-22 1万+
这篇文章主要介绍如何在`logging.config.dictConfig()`日志配置方式下，使用自定义的`Handler`处理程序。给了两个示例，代码可直接运行。一、基于 RotatingFileHandler 的自定义处理程序；二、基于 TimedRotatingFileHandler 的自定义处理程序
Python logging日志模块 配置文件方式
09-16
例如，以下是一个简单的Python脚本，它使用配置文件`log.conf`来初始化日志系统，并记录一条ERROR级别的日志： ```python #!/usr/bin/env python import logging import logging.config logging.config.fileConfig...
Python基于yaml文件配置logging日志过程解析
09-16
2. `disable_existing_loggers`: 如果设为`False`，则不会禁用已经存在的日志处理器，允许在运行时动态调整日志配置。 3. `formatters`: 定义了日志的输出格式。这里有一个名为`simple`的格式，格式化为时间戳、...
python日志规范.doc
09-16
Python日志规范是软件开发中一个非常重要的环节，它确保了程序在运行过程中产生的信息能够被有效记录、管理和分析。良好的日志规范可以帮助开发者更好地理解程序的状态，定位和解决问题，同时也有助于维护团队间的...
怎样使用Python脚本日志功能
12-23
在类方法中，我们可以读取XML配置文件，初始化日志处理器，并设置日志级别、格式等。用户只需通过类方法调用记录日志，而无需关心日志的内部实现，降低了耦合度。 在实现日志模块时，可以创建一个名为`log.py`的...
python——日志模块
最新发布
lhl0306的博客
07-01 1670
日志主要用于记录程序运行情况，以便程序报错能够快速定位到问题。Python自带日志操作模块，即logging模块。
Python 日志组件Logging 使用手札 （一）
MebiuW的专栏
07-11 2171
1 题外话虽然Python很火很火，可是我也是最近一年才开始用Python的，在此之前我是很坚定的Java党的，不过现在用上了Python，突然觉得Python是很有魔性的，所以渐渐的也用了多了起来。很久之前，还准备把Java学好之后就好好在学下C++的，不过感觉现在自己的兴趣点完全不在于那一丢丢的性能了，而是在乎与更加简洁、方便，以及最重要的，能追随潮流的，所以我还是老实Java和Python好了
python 日志处理（基础篇）
LOVE_jianshen的博客
09-13 1032
python 基本的日志处理操作
python日志组件
草棚
08-19 843
代码请见本人github：https://github.com/pengcao/medical_chatbot_kg/tree/master/util import logging import sys,os from logging.handlers import TimedRotatingFileHandler class Logger(object): """ 日志类...
python 日志
questions1234的博客
12-16 7929
模块 python的日志模块是logging, 属于标准库，无需自动安装。 日志配置 使用日志模块，一般会先创建一个日志配置文件。配置文件有两种写法， 配置文件包括Loggers（日志记录器）、Handlers（日志处理器）、Filters （日志过滤器）和 Formatters（日志格式化器）。 1.conf文件配置 logging.conf [loggers] # 选择日志记录器 keys = root [handles] # 选择日志处理器 keys = consoleHandler [forma
python日志
my19880888的博客
06-19 6303
python日志文件相关操作
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Twilight Sparkle.

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值