Python Logging 模块详解

最新推荐文章于 2024-09-30 11:30:11 发布
最新推荐文章于 2024-09-30 11:30:11 发布
阅读量802 收藏 9
点赞数 19
文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43580791/article/details/142346541
版权

Python 的 logging 模块是一个功能强大且灵活的日志记录系统，用于跟踪程序的运行状态、调试和错误分析。本文将从基础到高级，详细介绍如何使用 logging 模块的各项功能。

目录

  1. [为什么使用 Logging 模块](#为什么使用 Logging 模块)
  2. 基础使用
    • 日志级别
    • 基本配置 basicConfig
    • 简单日志记录示例
  3. Logger、Handler 和 Formatter
    • Logger
    • Handler
    • Formatter
  4. 配置日志记录器
    • 使用不同的 Handler
    • 添加多个 Handler
  5. 日志格式化
    • 格式化字符串
    • 自定义 Formatter
  6. 高级功能
    • RotatingFileHandler 和 TimedRotatingFileHandler
    • 过滤器
    • 日志记录到多个目的地
  7. 最佳实践
  8. 示例代码
  9. 总结

为什么使用 Logging 模块

在开发过程中，打印日志是调试和监控程序运行的重要手段。虽然可以使用 print 函数进行简单的输出，但 logging 模块提供了更为灵活和强大的日志记录功能，包括不同的日志级别、日志输出到不同的目的地、日志格式化、日志轮转等。

基础使用

日志级别

logging 模块定义了以下标准日志级别，从低到高依次为：

  • DEBUG: 最详细的信息，通常只在诊断问题时使用。
  • INFO: 确认程序按预期运行的信息。
  • WARNING: 指示某些意外情况或即将发生的问题，但程序仍在继续运行。
  • ERROR: 更严重的问题，程序无法执行某些功能。
  • CRITICAL: 非常严重的问题，程序可能无法继续运行。

基本配置 basicConfig

basicConfig 是配置日志记录的简便方法，适用于简单的日志需求。它可以设置日志级别、日志格式、日志输出位置等。

import logging

logging.basicConfig(level=logging.INFO)
logging.debug("这是一个调试信息")
logging.info("这是一个普通信息")
logging.warning("这是一个警告信息")
logging.error("这是一个错误信息")
logging.critical("这是一个严重错误信息")

在上述代码中，只有 INFO 及以上级别的日志会被输出，因为 level 设置为 INFO。

简单日志记录示例

import logging

logging.basicConfig(
    level=logging.DEBUG,
    format='%(asctime)s - %(levelname)s - %(message)s'
)

logging.debug("调试信息")
logging.info("普通信息")
logging.warning("警告信息")
logging.error("错误信息")
logging.critical("严重错误信息")

输出示例：

2024-04-27 12:00:00,000 - DEBUG - 调试信息
2024-04-27 12:00:00,001 - INFO - 普通信息
2024-04-27 12:00:00,002 - WARNING - 警告信息
2024-04-27 12:00:00,003 - ERROR - 错误信息
2024-04-27 12:00:00,004 - CRITICAL - 严重错误信息

Logger、Handler 和 Formatter

logging 模块的核心概念包括 Logger、Handler 和 Formatter。理解它们之间的关系对于有效配置日志记录器至关重要。

Logger

Logger 是应用程序中记录日志的对象。每个 Logger 都有一个名称（通常是模块名），并且可以有不同的日志级别。

创建 Logger 的方式：

import logging

logger = logging.getLogger(__name__)

Handler

Handler 负责将日志记录输出到不同的目的地，如控制台、文件、网络等。常见的 Handler 包括：

  • StreamHandler: 输出到控制台或其他流。
  • FileHandler: 输出到文件。
  • RotatingFileHandler: 输出到文件，并支持日志轮转。
  • TimedRotatingFileHandler: 按时间轮转日志文件。

Formatter

Formatter 定义日志的输出格式，包括时间、日志级别、消息等。

formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')

配置日志记录器

通过组合 Logger、Handler 和 Formatter，可以灵活地配置日志记录。

使用不同的 Handler

示例：同时输出到控制台和文件

import logging

# 创建 Logger
logger = logging.getLogger('my_logger')
logger.setLevel(logging.DEBUG)

# 创建控制台 Handler
console_handler = logging.StreamHandler()
console_handler.setLevel(logging.INFO)

# 创建文件 Handler
file_handler = logging.FileHandler('app.log')
file_handler.setLevel(logging.DEBUG)

# 创建 Formatter 并设置给 Handler
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
console_handler.setFormatter(formatter)
file_handler.setFormatter(formatter)

# 将 Handler 添加到 Logger
logger.addHandler(console_handler)
logger.addHandler(file_handler)

# 记录日志
logger.debug("这是一条调试信息")
logger.info("这是一条普通信息")
logger.warning("这是一条警告信息")
logger.error("这是一条错误信息")
logger.critical("这是一条严重错误信息")

在上述代码中：

  • DEBUG 级别的日志会被记录到 app.log 文件中。
  • INFO 及以上级别的日志会输出到控制台。

添加多个 Handler

可以为同一个 Logger 添加多个 Handler，以实现日志输出到多个目的地。例如，输出到控制台和多个文件。

import logging

logger = logging.getLogger('multi_handler_logger')
logger.setLevel(logging.DEBUG)

# 控制台 Handler
console_handler = logging.StreamHandler()
console_handler.setLevel(logging.WARNING)

# 文件 Handler1
file_handler1 = logging.FileHandler('debug.log')
file_handler1.setLevel(logging.DEBUG)

# 文件 Handler2
file_handler2 = logging.FileHandler('error.log')
file_handler2.setLevel(logging.ERROR)

# 设置 Formatter
formatter = logging.Formatter('%(asctime)s - %(levelname)s - %(message)s')
console_handler.setFormatter(formatter)
file_handler1.setFormatter(formatter)
file_handler2.setFormatter(formatter)

# 添加 Handler 到 Logger
logger.addHandler(console_handler)
logger.addHandler(file_handler1)
logger.addHandler(file_handler2)

# 记录日志
logger.debug("调试信息")
logger.info("普通信息")
logger.warning("警告信息")
logger.error("错误信息")
logger.critical("严重错误信息")

在此示例中：

  • 所有 DEBUG 及以上级别的日志记录到 debug.log。
  • 所有 ERROR 及以上级别的日志记录到 error.log。
  • 所有 WARNING 及以上级别的日志输出到控制台。

日志格式化

通过 Formatter，可以自定义日志的输出格式，包含时间、模块名、日志级别、消息等信息。

格式化字符串

Formatter 使用格式化字符串定义日志的结构，常用的格式化字段包括：

  • %(asctime)s: 时间
  • %(name)s: Logger 名称
  • %(levelname)s: 日志级别
  • %(message)s: 日志消息
  • %(filename)s: 文件名
  • %(lineno)d: 行号
  • %(funcName)s: 函数名

示例：

formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')

自定义 Formatter

可以通过继承 logging.Formatter 自定义日志格式化器，实现更复杂的格式需求。

import logging

class CustomFormatter(logging.Formatter):
    def format(self, record):
        record.msg = f"自定义前缀: {record.msg}"
        return super().format(record)

# 使用自定义 Formatter
formatter = CustomFormatter('%(asctime)s - %(levelname)s - %(message)s')

handler = logging.StreamHandler()
handler.setFormatter(formatter)

logger = logging.getLogger('custom_formatter')
logger.addHandler(handler)
logger.setLevel(logging.DEBUG)

logger.info("这是一个测试信息")

输出：

2024-04-27 12:00:00,000 - INFO - 自定义前缀: 这是一个测试信息

高级功能

RotatingFileHandler 和 TimedRotatingFileHandler

RotatingFileHandler

RotatingFileHandler 允许在日志文件达到一定大小后进行轮转，生成新的日志文件。

import logging
from logging.handlers import RotatingFileHandler

logger = logging.getLogger('rotating_logger')
logger.setLevel(logging.INFO)

# 设置 RotatingFileHandler，最大 1MB，保留 3 个备份
handler = RotatingFileHandler('rotating.log', maxBytes=1*1024*1024, backupCount=3)
formatter = logging.Formatter('%(asctime)s - %(levelname)s - %(message)s')
handler.setFormatter(formatter)

logger.addHandler(handler)

for i in range(10000):
    logger.info(f"日志信息 {i}")
TimedRotatingFileHandler

TimedRotatingFileHandler 根据时间进行日志轮转，例如每天、每小时等。

import logging
from logging.handlers import TimedRotatingFileHandler

logger = logging.getLogger('timed_rotating_logger')
logger.setLevel(logging.INFO)

# 设置 TimedRotatingFileHandler，每天轮转，保留 7 天的日志
handler = TimedRotatingFileHandler('timed_rotating.log', when='midnight', interval=1, backupCount=7)
formatter = logging.Formatter('%(asctime)s - %(levelname)s - %(message)s')
handler.setFormatter(formatter)

logger.addHandler(handler)

logger.info("这是一个定时轮转的日志信息")

过滤器

过滤器用于更细粒度地控制哪些日志记录被输出。可以基于 Logger 名称、日志级别等条件进行过滤。

import logging

class LevelFilter(logging.Filter):
    def __init__(self, level):
        super().__init__()
        self.level = level

    def filter(self, record):
        return record.levelno == self.level

logger = logging.getLogger('filter_logger')
logger.setLevel(logging.DEBUG)

# Handler1 只记录 ERROR 级别
error_handler = logging.StreamHandler()
error_handler.setLevel(logging.ERROR)
error_filter = LevelFilter(logging.ERROR)
error_handler.addFilter(error_filter)
logger.addHandler(error_handler)

# Handler2 记录所有级别
all_handler = logging.StreamHandler()
all_handler.setLevel(logging.DEBUG)
logger.addHandler(all_handler)

logger.debug("调试信息")
logger.info("普通信息")
logger.warning("警告信息")
logger.error("错误信息")
logger.critical("严重错误信息")

在上述代码中：

  • error_handler 只输出 ERROR 级别的日志。
  • all_handler 输出所有级别的日志。

日志记录到多个目的地

通过添加多个 Handler，可以将日志同时记录到多个目的地，例如控制台、文件、远程服务器等。

import logging
from logging.handlers import SMTPHandler

logger = logging.getLogger('multi_destination_logger')
logger.setLevel(logging.DEBUG)

# 控制台 Handler
console_handler = logging.StreamHandler()
console_handler.setLevel(logging.DEBUG)

# 文件 Handler
file_handler = logging.FileHandler('multi_destination.log')
file_handler.setLevel(logging.INFO)

# 邮件 Handler（仅在 ERROR 及以上级别发送邮件）
mail_handler = SMTPHandler(
    mailhost=('smtp.example.com', 587),
    fromaddr='error@example.com',
    toaddrs=['admin@example.com'],
    subject='应用程序错误',
    credentials=('username', 'password'),
    secure=()
)
mail_handler.setLevel(logging.ERROR)

# 设置 Formatter
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
console_handler.setFormatter(formatter)
file_handler.setFormatter(formatter)
mail_handler.setFormatter(formatter)

# 添加 Handler 到 Logger
logger.addHandler(console_handler)
logger.addHandler(file_handler)
logger.addHandler(mail_handler)

# 记录日志
logger.info("这是普通信息")
logger.error("这是一个错误信息")

在此示例中：

  • 所有 DEBUG 及以上级别的日志输出到控制台。
  • 所有 INFO 及以上级别的日志记录到文件。
  • 所有 ERROR 及以上级别的日志通过邮件发送。

最佳实践

  1. 模块化 Logger: 每个模块使用自己的 Logger，通常使用 __name__ 作为 Logger 名称。

    import logging

logger = logging.getLogger(__name__)

  2. 避免重复日志: 确保每个 Handler 只被添加一次，防止日志重复输出。

  3. 配置文件管理: 对于复杂的日志配置，使用配置文件（如 logging.config 模块支持的配置文件）进行管理，便于维护。

  4. 合理设置日志级别: 开发阶段使用较低的日志级别（如 DEBUG），生产环境中适当提高日志级别以减少日志量。

  5. 使用 Rotating Handler: 防止日志文件过大，使用轮转 Handler（如 RotatingFileHandler 或 TimedRotatingFileHandler）。

  6. 敏感信息处理: 避免在日志中记录敏感信息，如密码、密钥等。

示例代码

以下是一个综合示例，展示了如何配置 Logger、多个 Handler、Formatter 和过滤器。

import logging
from logging.handlers import RotatingFileHandler

# 创建 Logger
logger = logging.getLogger('comprehensive_logger')
logger.setLevel(logging.DEBUG)

# 创建 Formatter
formatter = logging.Formatter(
    '%(asctime)s - %(name)s - %(levelname)s - %(message)s'
)

# 创建控制台 Handler
console_handler = logging.StreamHandler()
console_handler.setLevel(logging.INFO)
console_handler.setFormatter(formatter)

# 创建 RotatingFileHandler
file_handler = RotatingFileHandler('comprehensive.log', maxBytes=5*1024*1024, backupCount=2)
file_handler.setLevel(logging.DEBUG)
file_handler.setFormatter(formatter)

# 添加 Handler 到 Logger
logger.addHandler(console_handler)
logger.addHandler(file_handler)

# 添加过滤器，只记录 WARNING 及以上级别
class WarningFilter(logging.Filter):
    def filter(self, record):
        return record.levelno >= logging.WARNING

warning_filter = WarningFilter()
file_handler.addFilter(warning_filter)

# 记录日志
logger.debug("这是调试信息，不会在文件中显示")
logger.info("这是普通信息，不会在文件中显示")
logger.warning("这是警告信息，会在文件中显示")
logger.error("这是错误信息，会在文件中显示")
logger.critical("这是严重错误信息，会在文件中显示")

在此示例中：

  • 控制台输出 INFO 及以上级别的日志。
  • 文件输出 WARNING 及以上级别的日志，并使用 RotatingFileHandler 进行日志轮转。

总结

Python 的 logging 模块提供了强大且灵活的日志记录功能，适用于各种规模和复杂度的项目。通过合理配置 Logger、Handler 和 Formatter，可以实现多样化的日志记录需求，帮助开发者更好地调试和维护程序。掌握 logging 模块的使用，有助于提升代码质量和可维护性。

遮天华月
关注
Python中日志模块 logging 的使用，模块处理流程和相关类及常用方法
巫山♔
07-26 1090
LOG 日志相关概念 日志 日志是一种可以追踪某些软件运行时所发生事件的方法。软件开发人员可以向他们的代码中调用日志记录相关的方法来表明发生了某些事情。一个事件可以用一个可包含可选变量数据的消息来描述。此外，事件也有重要性的概念，这个重要性也可以被称为严重性级别（level）。 日志的级别 不同的用户关注不同的程序信息 DEBUG INFO NOTICE WARNING ERROR ...
Python中的logging模块解析
测试界的彭于晏的博客
03-30 1万+
前言 在自动化测试中，为了定位问题，调试框架代码，需要使用日志模块，今天我们重点讲解Python中的logging模块，在学习使用logging模块前，我们先要了解logging模块的四大天王：logger、handler、filter、formatter 一.logging模块的四大组件 logger：日志器，提供程序可使用的接口 handler：处理器，用于写入日志文件并输出到指定位置，如文件、控制台或网络等 filter：过滤器，用于输出符合指定条件的日志记录 formatter：..
python中logging模块详解_Python logging模块详解
weixin_35895431的博客
02-03 415
1.简单的将日志打印到屏幕import logginglogging.debug('This is debug message')logging.info('This is info message')logging.warning('This is warning message')屏幕上打印:WARNING:root:This is warning message默认情况下，logging将日...
python logging模块
最新发布
2401_86940371的博客
09-30 1094
实际开发一个application，首先可以通过logging配置文件编写好这个application所对应的配置，可以生成一个根logger，如'PythonAPP'，然后在主函数中通过fileConfig加载logging配置，接着在application的其他地方、不同的模块中，可以使用根logger的子logger，如'PythonAPP.Core'，'PythonAPP.Web'来进行log，而不需要反复的定义和配置各个模块的logger。通过YAML文件进行配置，比JSON看起来更加简介明了，
使用Python的logging.config.fileConfig配置日志
热门推荐
胖胖大海的博客
10-20 1万+
Python的logging.config.fileConfig方式配置日志，通过解析conf配置文件实现。文件 logglogging.conf 配置如下： [loggers] keys=root,fileLogger,rotatingFileLogger [handlers] keys=consoleHandler,fileHandler,rotatingFileHandler [fo...
Python中 logging 模块 详解
我是张跑跑
01-08 1853
1. 概述 Python中 logging 模块 是记录程序在运行过程中的日志，主要为了开发人员检查程序运行的情况，当然也可以为用户提醒一些信息。 2. 日志的级别 python中日志一共分成5个等级，从低到高分别是：DEBUG、INFO、 WARNING、ERROR、CRITICAL DEBUG：详细的信息，通常只出现在诊断问题上； INFO：确认一切按预期运行； WARNING：一个迹象表明...
Python中内置的日志模块logging用法详解
良知犹存的博客
03-31 5356
https://cloud.tencent.com/developer/article/1587902
Python logging模块详解
bill的博客
07-02 837
Handler。
python logging模块详解
weixin_47154909的博客
05-21 1万+
logging库采用模块化方法，并提供了几类组件：记录器，处理程序，过滤器和格式化程序。 以记录器Logger为对象，设置合适的处理器Handler，辅助以筛选器Filter、格式器Formatter，设置日志级别以及常用的方法，最终输出理想的日志记录给到指定目标
Python logging模块handlers用法详解
09-16
Python的logging模块是用于处理程序运行过程中的日志记录，它提供了一种灵活且强大的方式来跟踪应用程序的行为。本文将深入探讨logging模块中的handlers，这是日志处理的核心组件，它们负责将日志信息发送到不同的...
从零开始学 Python 之 logging 模块详解
qq_33085579的博客
05-29 1181
This module defines functions and classes which implement a flexible event logging system for applications and libraries. Python logging 模块定义了为应用程序和库实现灵活的事件日志记录的函数和类。 程序开发过程中，很多程序都有记录日志的需求，并且日志包含的信息有正常的程序访问日志还可能有错误、警告等信息输出，Python 的 logging 模块提供了标准的日志接口，可.
Python中logging日志模块详解
m0_72557783的博客
12-03 1274
print也可以输入日志，logging相对print来说更好控制输出在哪个地方，怎么输出及控制消息级别来过滤掉那些不需要的信息。
Python logger模块
dixu7849的博客
07-25 1092
1 logging模块简介 logging模块是Python内置的标准模块，主要用于输出运行日志，可以设置输出日志的等级、日志保存路径、日志文件回滚等；相比print，具备如下优点： 可以通过设置不同的日志等级，在release版本中只输出重要信息，而不必显示大量的调试信息； print将所有信息都输出到标准输出中，严重影响开发者从标准输出中查看其它数据；logging则可以由...
python的logging模块详解
Elenstone的博客
05-26 865
目录0 前言1 logging简介2 logging模块的使用2.1 基本使用logging.basicConfig()2.2 将日志写到文件中2.3 同时将日志输出到控制台和日志文件2.4 handler的种类2.5 日志回滚 RotatingFilehandler2.6 消息的等级logging.setLevel()2.7 捕获traceback2.8 多模块使用logging3 通过JSON和YAML文件配置logging3.1 通过JSON文件配置3.2 通过YAML文件配置 0 前言   logg
python之logging模块详解
淘小欣的博客
04-14 1235
python之 logging 模块 文章目录python之 logging 模块一、日志关概念日志的作用日志的等级3、日志字段信息与日志格式4、日志功能的实现二、 logging 模块介绍什么是logging模块logging模块的作用logging模块的优点：logging模块日志的级别三、logging 模块的使用方式介绍logging使用方式介绍：示例：直接导入logging模块logging模块定义的模块级别的常用函数第一种使用方式：简单配置默认输出格式为默认日志级别为warning，默认打印到终
Python logging 模块详解
qq_31455841的博客
09-29 2523
import logging # 打印日志级别 def test_logging() : logging . debug('Python debug') logging . info('Python info') logging . warning('Python warning') logging . error('Python Error') logging . critical('Python critical') test_logging()Logger是一个树形层级结构​Logger。
Python logging模块详解与配置
Python的logging模块是编程中一个非常重要的部分，它为开发者提供了一种高效的方式来管理和记录程序运行时的日志信息。在编写复杂的Python项目时，日志管理是确保代码健壮性和可维护性的重要手段。logging模块通过...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值