python大型项目中的日志模块_Python中日志模块的使用

本文介绍了Python中logging模块的使用,包括基本日志记录、日志等级设置、日志格式自定义、输出到文件以及自定义Logger。通过示例展示了如何在不同场景下灵活运用logging,帮助开发者更好地管理和跟踪程序运行状态。
摘要由CSDN通过智能技术生成

前言

程序和脚本往往是无人值守运行的,一旦发生问题,就需要我们去追溯当时的情况来定位问题的原因。

这便需要我们在程序和脚本中引入日志的功能。

相比于print信息,使用logging日志有以下优点

可以记录输出日志的时间、文件、函数以及代码行,甚至线程名和线程号

可以分等级记录日志(调试级、信息级、警告级、错误级、严重错误级)

即可以实时输出到屏幕,也可以输出到文件

基本使用

Python中使用自带的logging模块输出日志,logging模块的主要组件为logger日志记录器,如下图。

2ef642dd0f68e09089b781130bf1fcac.png

基本使用如下

import logging

logging.debug('调试级别的日志')

logging.info('信息级别的日志')

logging.warning('警告级别的日志') # 或logging.warn('警告级别的日志')

logging.error('错误级别的日志')

logging.critical('严重错误级别的日志')

try:

1/0

except Exception as ex:

logging.exception(ex) # 错误级别的日志,显示多行回溯信息

运行结果为

WARNING:root:警告级别的日志

ERROR:root:错误级别的日志

CRITICAL:root:严重错误级别的日志

ERROR:root:division by zero

Traceback (most recent call last):

File "", line 9, in

1/0

ZeroDivisionError: division by zero

发现只显示warning、error、critical的日志,这是因为logging中的默认日志记录器(root logger)的level级别是logging.WARNING,即默认只显示警告级别以上的日志。

修改日志等级

我们可以使用logging.basicConfig来修改root logger的设置。

import logging

logging.basicConfig(level=logging.DEBUG) # 配置全局root logger

logging.debug('调试级别的日志')

logging.info('信息级别的日志')

logging.warning('警告级别的日志')

logging.error('错误级别的日志')

logging.critical('严重错误级别的日志')

再次运行,发现所有的日志都可以输出了。

level日志等级支持

logging.NOTSET: 未设置,输出所有级别的日志

logging.DEBUG: 调试级别,输出所有级别的日志

logging.INFO: 信息级别,输出包含信息级别以上的日志

logging.WARNING: 警告级别,输出包含警告级别的日志

logging.ERROR: 错误级别,输出包含错误级别以上的日志

logging.CRITICAL: 严重错误级别,仅输出严重错误日志

日志等级的关系为:CRITICAL > ERROR > WARNING > INFO > DEBUG > NOTSET

修改日志格式

日志默认的格式为WARNING:root:警告级别的日志,即等级:Logger名称:输出消息。我们也可以在logging.basicConfig中使用format参数来修改其输出格式。

import logging

logging.basicConfig(level=logging.DEBUG,

format='%(asctime)s - %(levelname)s - %(message)s')

logging.debug('调试级别的日志')

logging.info('信息基本的日志')

logging.warning('警告级别的日志')

logging.error('错误级别的日志')

logging.critical('严重错误级别的日志')

运行输出如下:

2020-11-04 10:11:49,238 - DEBUG - 调试级别的日志

2020-11-04 10:11:49,238 - INFO - 信息基本的日志

2020-11-04 10:11:49,238 - WARNING - 警告级别的日志

2020-11-04 10:11:49,238 - ERROR - 错误级别的日志

2020-11-04 10:11:49,238 - CRITICAL - 严重错误级别的日志

format中使用%(变量名)s这样的具名占位符,来输出不同的信息,其他的字符则原样显示。

支持的变量如下:

%(levelno)s: 打印日志级别的数值

%(levelname)s: 打印日志级别名称

%(pathname)s: 打印当前执行程序的路径,其实就是sys.argv[0]

%(filename)s: 打印当前执行程序名

%(funcName)s: 打印日志的当前函数

%(lineno)d: 打印日志的当前行号(因为是数字,所以使用%d)

%(asctime)s: 打印日志的时间

%(thread)d: 打印线程ID

%(threadName)s: 打印线程名称

%(process)d: 打印进程ID

%(message)s: 打印日志信息

对于日期,我们可以使用datefmt来修改,比如,将上例中的logging.basicConfig修改为

...

logging.basicConfig(level=logging.DEBUG,

format='%(asctime)s - %(levelname)s - %(message)s',

datefmt='%Y年%m月%d日 %H:%M:%S')

...

输出形式如下:

2020年11月04日 10:19:04 - DEBUG - 调试级别的日志

2020年11月04日 10:19:04 - INFO - 信息基本的日志

2020年11月04日 10:19:04 - WARNING - 警告级别的日志

2020年11月04日 10:19:04 - ERROR - 错误级别的日志

2020年11月04日 10:19:04 - CRITICAL - 严重错误级别的日志

输出到文件

日志是默认输出的屏幕的,也可以通过logging.basicConfig中的filename将日志输出到文件。

import logging

logging.basicConfig(level=logging.DEBUG,

format='%(asctime)s - %(levelname)s - %(message)s',

datefmt='%Y年%m月%d日 %H:%M:%S',

filename='run.log',

filemode='a'

)

logging.debug('调试级别的日志')

logging.info('信息基本的日志')

logging.warning('警告级别的日志')

logging.error('错误级别的日志')

logging.critical('严重错误级别的日志')

运行后,日志将不会输出到屏幕,转而输出到文件中,filemode支持'w'每次覆盖和'a'追加模式。

自定义handlers

如果想即输出到屏幕又输出到文件,我们可以在logging.basicConfig的handlers参数中添加两个不同的handler来实现,logging.StreamHander()可以用于输出到屏幕,logging.FileHandler()可以用于输出到文件。

import logging

cli_handler = logging.StreamHandler() # 输出到屏幕的日志处理器

file_handler = logging.FileHandler(filename='run.log', mode='a', encoding='utf-8') # 输出到文件的日志处理器

logging.basicConfig(level=logging.DEBUG,

format='%(asctime)s - %(levelname)s - %(message)s',

datefmt='%Y年%m月%d日 %H:%M:%S',

handlers=[cli_handler, file_handler] # 添加两个日志处理器

)

logging.debug('调试级别的日志')

logging.info('信息基本的日志')

logging.warning('警告级别的日志')

logging.error('错误级别的日志')

logging.critical('严重错误级别的日志')

这样便可以即输出到屏幕又输出到文件了。

自定义Logger

使用logging.basicConfig是直接配置全局的root logger,会对项目中所有的模块及三方包产生影响。

为了不影响其他模块和三方包的日志输出,我们可以使用自定义Logger,即日志记录器,基本步骤为

使用logging.getLogger()新建一个logger对象,并配置期日志等级(总日志开关)

新建多个日志处理器,分别设置其格式和日志等级

将多个日志处理器添加到logger中

代码如下

# 文件名: mylogger.py

import logging

def get_logger(name):

logger = logging.getLogger(name)

logger.setLevel(logging.DEBUG) # 设置总日志等级

format = logging.Formatter(fmt='%(asctime)s - %(levelname)s - %(message)s', datefmt='%Y年%m月%d日 %H:%M:%S') # 日志格式

cli_handler = logging.StreamHandler() # 输出到屏幕的日志处理器

file_handler = logging.FileHandler(filename='run.log', mode='a', encoding='utf-8') # 输出到文件的日志处理器

cli_handler.setFormatter(format) # 设置屏幕日志格式

file_handler.setFormatter(format) # 设置文件日志格式

cli_handler.setLevel(logging.INFO) # 设置屏幕日志等级, 可以大于日志记录器设置的总日志等级

# file_hander.setLevel(logging.DEBUG) # 不设置默认使用logger的等级

logger.handlers.clear() # 清空已有处理器, 避免继承了其他logger的已有处理器

logger.addHandler(cli_handler) # 将屏幕日志处理器添加到logger

logger.addHandler(file_handler) # 将文件日志处理器添加到logger

return logger

使用方式为,导入本模块的get_logger方法,使用logger代替logging打印各种信息。

from mylogger import get_logger

logger = get_logger('mylogger')

logger.debug('调试级别的日志')

logger.info('信息基本的日志')

logger.warning('警告级别的日志')

logger.error('错误级别的日志')

logger.critical('严重错误级别的日志')

注意:由于logger具有子模块继承性,在项目中多个地方使用get_logger生成不同的logger对象时,有可能会继承其他logger的处理器。建议项目中使用同一个logger。或者对日志记录器使用单例模式。

在服务端项目中(如web项目),由于进程是长久运行,可以使用滚动日志处理器来分割日志文件。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值