一、logging模块介绍
logging模块是Python的一个标准库模块,由标准库模块提供日志记录API的关键好处是所有Python模块都可以使用这个日志记录功能。
1.1 logging模块日志级别
logging模块默认定义了以下几个日志等级,它允许开发人员自定义其他日志级别,但是这是不被推荐的,尤其是在开发供别人使用的库时,因为这会导致日志级别的混乱。
日志等级(level) | 描述 |
---|---|
DEBUG | 最详细的日志信息,典型应用场景是 问题诊断 |
INFO | 信息详细程度仅次于DEBUG,通常只记录关键节点信息,用于确认一切都是按照我们预期的那样进行工作 |
WARNING | 当某些不期望的事情发生时记录的信息(如,磁盘可用空间较低),但是此时应用程序还是正常运行的 |
ERROR | 由于一个更严重的问题导致某些功能不能正常运行时记录的信息 |
CRITICAL | 当发生严重错误,导致应用程序不能继续运行时记录的信息 |
1.2 logging模块使用方式介绍
logging模块提供了两种记录日志的方式:
- 第一种方式是使用logging提供的模块级别的函数。
- 第二种方式是使用Logging日志系统的四大组件
其实,logging所提供的模块级别的日志记录函数也是对logging日志系统相关类的封装而已。
logging模块定义的模块级别的常用函数
函数 | 说明 |
---|---|
logging.debug(msg, *args, **kwargs) | 创建一条严重级别为DEBUG的日志记录 |
logging.info(msg, *args, **kwargs) | 创建一条严重级别为INFO的日志记录 |
logging.warning(msg, *args, **kwargs) | 创建一条严重级别为WARNING的日志记录 |
logging.error(msg, *args, **kwargs) | 创建一条严重级别为ERROR的日志记录 |
logging.critical(msg, *args, **kwargs) | 创建一条严重级别为CRITICAL的日志记录 |
logging.log(level, *args, kwargs) | 创建一条严重级别为level的日志记录 |
logging.basicConfig(kwargs) | 对root logger进行一次性配置 |
其中logging.basicConfig(**kwargs)
函数用于指定“要记录的日志级别”、“日志格式”、“日志输出位置”、“日志文件的打开模式”等信息,其他几个都是用于记录各个级别日志的函数。
logging模块的四大组件
组件 | 说明 |
---|---|
loggers | 提供应用程序代码直接使用的接口 |
handlers | 用于将日志记录发送到指定的目的位置 |
filters | 提供更细粒度的日志过滤功能,用于决定哪些日志记录将会被输出(其它的日志记录将会被忽略) |
formatters | 用于控制日志信息的最终输出格式 |
说明: logging提供的模块级别的函数,实际上也是通过这几个组件的相关实现类来记录日志的,只是在创建这些类的实例的时候设置了一些默认值。
二、使用logging提供的模块级函数记录日志
回顾前面提到的几个重要信息:
- 可以通过logging模块级别的方法完成简单的日志记录
- 只有级别大于或者等于日志记录器指定级别的日志才会被输出,小于该级别的日志将会被丢弃。
2.1 简单的日志输出
import logging
# 设置默认日志级别, >=logging.INFO 则输出
logging.basicConfig(level=logging.INFO)
logging.debug("This is a debug log.")
logging.info("This is a info log.")
logging.warning("This is a warning log.")
logging.error("This is a error log.")
logging.critical("This is a critical log.")
也可以这样写:
import logging
logging.basicConfig(level=logging.INFO)
logging.log(logging.DEBUG, "This is a debug log.")
logging.log(logging.INFO, "This is a info log.")
logging.log(logging.WARNING, "This is a warning log.")
logging.log(logging.ERROR, "This is a error log.")
logging.log(logging.CRITICAL, "This is a critical log.")
输出结果:
INFO:root:This is a info log.
WARNING:root:This is a warning log.
ERROR:root:This is a error log.
CRITICAL:root:This is a critical log.
2.2 问题来了
1. 打印出的日志的各字段是什么意思?为什么会这样输出?
日志级别:日志器名称:日志内容
之所以会这样输出,是因为logging
模块提供的日志记录函数,所使用的日志器,其默认值为logging.BASIC_FORMAT
:
BASIC_FORMAT = "%(levelname)s:%(name)s:%(message)s"
2. 打印出的日志默认输出到什么位置?
logging
模块提供的日志记录函数的默认输出位置为sys.stderr
3. 我是怎样知道这些的?
查看这些日志记录函数的实现代码,可以发现:当我们没有提供任何配置信息的时候,这些函数都会去调用logging.basicConfig(**kwargs)
方法,且不会向该方法传递任何参数。继续查看basicConfig()
方法的代码就可以找到上面这些问题的答案了。
4. 怎么修改这些默认值呢?
其实很简单,在我们调用日志记录函数之前,手动调用一下basicConfig
方法,把我们想设置的内容以参数的形式传进去就可以了。
2.3 logging.basicConfig函数说明
该方法用于logging
系统做一些基本配置,其方法定义如下:
logging.basicConfig(**kwargs)
参数名称 | 描述 |
---|---|
filename | 指定日志输出目标文件的文件名,指定该设置项后,日志信息就不会被输出到控制台了 |
filemode | 指定日志文件的打开模式,默认为’a’。需要注意的是,该选项要在filename指定时才有效 |
format | 指定日志格式字符串,即指定日志输出时所包含的字段信息以及它们的顺序。logging模块定义的格式字段下面会列出 |
datefmt | 指定日期/时间格式。需要注意的是,该选项要在format中包含时间字段%(asctime)s时才有效 |
level | 指定日志器的日志级别 |
stream | 指定日志输出目标stream,如sys.stdout、sys.stderr以及网络stream。需要说明的是,stream和filename不能同时提供,否则会引发 ValueError异常 |
style | Python 3.2中新添加的配置项。指定format格式字符串的风格,可取值为’%‘、’{‘和’$‘,默认为’%’ |
handlers | Python 3.3中新添加的配置项。该选项如果被指定,它应该是一个创建了多个Handler的可迭代对象,这些handler将会被添加到root logger。需要说明的是:filename、stream和handlers这三个配置项只能有一个存在,不能同时出现2个或3个,否则会引发ValueError异常。 |
2.4 logging定义的格式字符字段
字段/属性名称 | 使用格式 | 描述 |
---|---|---|
asctime | %(asctime)s | 日志事件发生的时间–人类可读时间,如:2003-07-08 16:49:45,896 |
created | %(created)f | 日志事件发生的时间–时间戳,就是当时调用time.time()函数返回的值 |
relativeCreated | %(relativeCreated)d | 日志事件发生的时间相对于logging模块加载时间的相对毫秒数(目前还不知道干嘛用的) |
msecs | %(msecs)d | 日志事件发生事件的毫秒部分 |
levelname | %(levelname)s | 该日志记录的文字形式的日志级别(‘DEBUG’, ‘INFO’, ‘WARNING’, ‘ERROR’, ‘CRITICAL’) |
levelno | %(levelno)s | 该日志记录的数字形式的日志级别(10, 20, 30, 40, 50) |
name | %(name)s | 所使用的日志器名称,默认是’root’,因为默认使用的是 rootLogger |
message | %(message)s | 日志记录的文本内容,通过 msg % args计算得到的 |
pathname | %(pathname)s | 调用日志记录函数的源码文件的全路径 |
filename | %(filename)s | pathname的文件名部分,包含文件后缀 |
module | %(module)s | filename的名称部分,不包含后缀 |
lineno | %(lineno)d | 调用日志记录函数的源代码所在的行号 |
funcName | %(funcName)s | 调用日志记录函数的函数名 |
process | %(process)d | 进程ID |
processName | %(processName)s | 进程名称,Python 3.1新增 |
thread | %(thread)d | 线程ID |
threadName | %(thread)s | 线程名称 |
2.5 日志常用配置演示
简单配置一下日志级别:
logging.basicConfig(level=logging.DEBUG)
logging.log(logging.DEBUG, "This is a debug log.")
logging.log(logging.INFO, "This is a info log.")
logging.log(logging.WARNING, "This is a warning log.")
logging.log(logging.ERROR, "This is a error log.")
logging.log(logging.CRITICAL, "This is a critical log.")
输出结果:
DEBUG:root:This is a debug log.
INFO:root:This is a info log.
WARNING:root:This is a warning log.
ERROR:root:This is a error log.
CRITICAL:root:This is a critical log.
所有等级日志信息全部输出了,说明配置生效了。
在配置日志器日志级别的基础上,继续配置下日志输出目标文件和日志格式
import logging
LOG_FORMAT = "%(asctime)s-%(levelname)s-%(message)s"
logging.basicConfig(level=logging.DEBUG, format=LOG_FORMAT, filename="my.log")
logging.log(logging.DEBUG, "This is a debug log.")
logging.log(logging.INFO, "This is a info log.")
logging.log(logging.WARNING, "This is a warning log.")
logging.log(logging.ERROR, "This is a error log.")
logging.log(logging.CRITICAL, "This is a critical log.")
此时会发现控制台之中已经没有日志输出了,但是在python代码的相同目录下会生成一个名为"my.log"的日志文件,该文件的内容为:
2024-01-03 10:44:11,954-DEBUG-This is a debug log.
2024-01-03 10:44:11,954-INFO-This is a info log.
2024-01-03 10:44:11,955-WARNING-This is a warning log.
2024-01-03 10:44:11,955-ERROR-This is a error log.
2024-01-03 10:44:11,955-CRITICAL-This is a critical log.
在此基础上我们再来设置一下日期/时间格式:
import logging
LOG_FORMAT = "%(asctime)s-%(levelname)s-%(message)s"
DATE_FORMAT = "%m/%d/%Y %H:%M:%S %p"
logging.basicConfig(level=logging.DEBUG, format=LOG_FORMAT, filename="my.log", datefmt=DATE_FORMAT)
logging.log(logging.DEBUG, "This is a debug log.")
logging.log(logging.INFO, "This is a info log.")
logging.log(logging.WARNING, "This is a warning log.")
logging.log(logging.ERROR, "This is a error log.")
logging.log(logging.CRITICAL, "This is a critical log.")
01/03/2024 10:51:43 AM-DEBUG-This is a debug log.
01/03/2024 10:51:43 AM-INFO-This is a info log.
01/03/2024 10:51:43 AM-WARNING-This is a warning log.
01/03/2024 10:51:43 AM-ERROR-This is a error log.
01/03/2024 10:51:43 AM-CRITICAL-This is a critical log.
2.6 其它说明
几个要说明的内容:
-
logging.basicConfig()
函数是一个一次性的简单配置工具使,也就是说只有在第一次调用该函数时会起作用,后续再次调用该函数时完全不会产生任何操作的,多次调用的设置并不是累加操作。 -
日志器(
Logger
)是有层级关系的,上面调用的logging
模块级别的函数所使用的日志器是RootLogger
类的实例,其名称为root
,它是处于日志器层级关系最顶层的日志器,且该实例是以单例模式存在的。 -
如果要记录的日志中包含变量,可以使用第一个参数作为字符串格式,然后将变量数据作为第二个参数*args的值进行传递,如:
logging.warning('%s is %d years old.', 'Tom', 10)
,输出内容为WARNING:root:Tom is 10 years old.
。 -
logging.debug()
,logging.info()
等方法的定义中,除了msg
和args
参数外,还有一个**kwargs
参数。它们支持3个关键字参数:exc_info
,stack_info
,extra
,下面对这几个关键字参数作个说明。
关于exc_info, stack_info, extra关键词参数的说明:
-
exc_info(exception_info): 其值为布尔值,如果该参数的值设置为
True
,则会将异常异常信息添加到日志消息中。如果没有异常信息则添加None
到日志信息中。 -
stack_info: 其值也为布尔值,默认值为False。如果该参数的值设置为True,栈信息将会被添加到日志信息中。
-
extra: 这是一个字典(dict)参数,它可以用来自定义消息格式中所包含的字段,但是它的key不能与logging模块定义的字段冲突。
一个例子:
FORMAT = '%(asctime)s %(clientip)-15s %(user)-8s %(message)s'
logging.basicConfig(format=FORMAT)
d = {'clientip': '192.168.0.1', 'user': 'jack'}
logger = logging.getLogger('tcpserver')
logger.warning('Protocol problem: %s', 'connection reset', extra=d)
输出
2024-01-03 13:56:40,112 192.168.0.1 jack Protocol problem: connection reset
exc_info=True
的案例:
LOG_FORMAT = "%(asctime)s-%(levelname)s-%(message)s"
DATE_FORMAT = "%m/%d/%Y %H:%M:%S %p"
logging.basicConfig(level=logging.DEBUG, format=LOG_FORMAT, datefmt=DATE_FORMAT)
try:
1/0
except Exception as e:
logging.log(logging.WARNING, "This is a warning log.", exc_info=True, stack_info=False)
会在异常块,里面输出异常信息,如果不再异常块里面,则输出NoneType
01/03/2024 14:01:39 PM-WARNING-This is a warning log.
Traceback (most recent call last):
File "demo.py", line 11, in <module>
1/0
ZeroDivisionError: division by zero
stack_info=True
的案例:
logging.log(logging.WARNING, "This is a warning log.", exc_info=False, stack_info=True)
stack_info=True
无论如何都会输出调用栈信息。
01/03/2024 14:12:00 PM-WARNING-This is a warning log.
Stack (most recent call last):
File "demo.py", line 9, in <module>
logging.log(logging.WARNING, "This is a warning log.", exc_info=False, stack_info=True)
三、logging模块日志处理流程
3.1 logging日志模块四大组件
在介绍logging
模块的日志流处理流程之前,我们先来介绍下logging
模块的四大组件:
组件名称 | 对应类名 | 功能描述 |
---|---|---|
日志器 | Logger | 提供了应用程序可一直使用的接口 |
处理器 | Handler | 将logger创建的日志记录发送到合适的目的输出 |
过滤器 | Filter | 提供了更细粒度的控制工具来决定输出哪条日志记录,丢弃哪条日志记录 |
格式器 | Formatter | 决定日志记录的最终输出格式 |
这些组件之间的关系描述:
-
日志器(
logger
)需要通过处理器(handler
)将日志信息输出到目标位置,如:文件、sys.stdout
、网络等; -
不同的处理器(
handler
)可以将日志输出到不同的位置; -
日志器(
logger
)可以设置多个处理器(handler
)将同一条日志记录输出到不同的位置;
每个处理器(handler
)都可以设置自己的过滤器(filter
)实现日志过滤,从而只保留感兴趣的日志; -
每个处理器(
handler
)都可以设置自己的格式器(formatter
)实现同一条日志以不同的格式输出到不同的地方。 -
简单点说就是:日志器(
logger
)是入口,真正干活儿的是处理器(handler
),处理器(handler
)还可以通过过滤器(filter
)和格式器(formatter
)对要输出的日志内容做过滤和格式化等处理操作。
3.2 日志组件的常用方法介绍
下面介绍下与logging四大组件相关的类:Logger, Handler, Filter, Formatter。
3.2.1 Logger类
Logger
对象有3个任务要做:
- 向应用程序代码暴露几个方法,使应用程序可以在运行时记录日志消息;
- 基于日志严重等级(默认的过滤设施)或
filter
对象来决定要对哪些日志进行后续处理; - 将日志消息传送给所有感兴趣的日志
handlers
。
Logger
对象最常用的方法分为两类:配置类的方法和消息发送类的方法。
最常用的配置方法如下:
方法 | 描述 |
---|---|
Logger.setLevel() | 设置日志器将会处理的日志消息的最低严重级别 |
Logger.addHandler() 和 Logger.removeHandler() | 为该logger对象添加 和 移除一个handler对象 |
Logger.addFilter() 和 Logger.removeFilter() | 为该logger对象添加 和 移除一个filter对象 |
logger对象配置完成后,可以使用下面的方法来创建日志记录:
方法 | 描述 |
---|---|
Logger.debug(), Logger.info(), Logger.warning(), Logger.error(), Logger.critical() | 创建一个与它们的方法名对应等级的日志记录 |
Logger.exception() | 创建一个类似于Logger.error()的日志消息, 主要用于exception块,类似于exc_info=True |
Logger.log() | 需要获取一个明确的日志level参数来创建一个日志记录,在自定义level的时候可以使用 |
那么,怎样得到一个Logger
对象呢?一种方式是通过Logger
类的实例化方法创建一个Logger
类的实例,但是我们通常都是用第二种方式–logging.getLogger()
方法。
logging.getLogger()
方法有一个可选参数name
,该参数表示将要返回的日志器的名称标识,如果不提供该参数,则其值为’root’。若以相同的name
参数值多次调用getLogger()
方法,将会返回指向同一个logger
对象的引用。
通过
logging.Logger.manager.loggerDict.keys()
可以获取到所有logger的名称
关于logger
的层级结构与有效等级的说明:
-
logger
的名称是一个以.
分割的层级结构,每个.
后面的logger
都是.
前面的logger
的children
,例如,有一个名称为foo
的logger
,其它名称分别为foo.bar
,foo.bar.baz
和foo.bam
都是foo
的后代。 -
logger
有一个"有效等级(effective level
)"的概念。如果一个logger
上没有被明确设置一个level
,那么该logger
就是使用它parent
的level
;如果它的parent
也没有明确设置level
则继续向上查找parent
的parent
的有效level
,依次类推,直到找到个一个明确设置了level
的祖先为止。需要说明的是,root logger
总是会有一个明确的level
设置(默认为WARNING
)。当决定是否去处理一个已发生的事件时,logger
的有效等级将会被用来决定是否将该事件传递给该logger
的handlers
进行处理。 -
child loggers
在完成对日志消息的处理后,默认会将日志消息传递给与它们的祖先loggers
相关的handlers
。因此,我们不必为一个应用程序中所使用的所有loggers
定义和配置handlers
,只需要为一个顶层的logger
配置handlers
,然后按照需要创建child loggers
就可足够了。我们也可以通过将一个logger
的propagate
属性设置为False
来关闭这种传递机制。
3.2.2 Handler
Handler
对象的作用是(基于日志消息的level
)将消息分发到handler
指定的位置(文件、网络、邮件等)。Logger
对象可以通过addHandler()
方法为自己添加0
个或者更多个handler
对象。比如,一个应用程序可能想要实现以下几个日志需求:
- 把所有日志都发送到一个日志文件中;
- 把所有严重级别大于等于
error
的日志发送到stdout(标准输出)
; - 把所有严重级别为
critical
的日志发送到一个email
邮件地址。
这种场景就需要3个不同的handlers
,每个handler
复杂发送一个特定严重级别的日志到一个特定的位置。
一个handler
中只有非常少数的方法是需要应用开发人员去关心的。对于使用内建handler
对象的应用开发人员来说,似乎唯一相关的handler
方法就是下面这几个配置方法:
方法 | 描述 |
---|---|
Handler.setLevel() | 设置handler将会处理的日志消息的最低严重级别 |
Handler.setFormatter() | 为handler设置一个格式器对象 |
Handler.addFilter() 和 Handler.removeFilter() | 为handler添加和删除一个过滤器对象 |
需要说明的是,应用程序代码不应该直接实例化和使用Handler
实例,因为Handler
是一个基类。下面是一些常用的Handler
:
Handler | 描述 |
---|---|
logging.StreamHandler | 将日志消息发送到输出到Stream,如std.out, std.err或任何file-like对象。 |
logging.FileHandler | 将日志消息发送到磁盘文件,默认情况下文件大小会无限增长 |
logging.handlers.RotatingFileHandler | 将日志消息发送到磁盘文件,并支持日志文件按大小切割 |
logging.hanlders.TimedRotatingFileHandler | 将日志消息发送到磁盘文件,并支持日志文件按时间切割 |
logging.handlers.HTTPHandler | 将日志消息以GET或POST的方式发送给一个HTTP服务器 |
logging.handlers.SMTPHandler | 将日志消息发送给一个指定的email地址 |
logging.NullHandler | 该Handler实例会忽略error messages,通常被想使用logging的library开发者使用来避免’No handlers could be found for logger XXX’信息的出现。 |
3.2.3 Formater
Formater对象用于配置日志信息的最终顺序、结构和内容。与logging.Handler基类不同的是,应用代码可以直接实例化Formatter类。另外,如果你的应用程序需要一些特殊的处理行为,也可以实现一个Formatter的子类来完成。
Formatter类的构造方法定义如下:
logging.Formatter.__init__(fmt=None, datefmt=None, style='%')
可见,该构造方法接收3个可选参数:
fmt
:指定消息格式化字符串,如果不指定该参数则默认使用message
的原始值datefmt
:指定日期格式字符串,如果不指定该参数则默认使用"%Y-%m-%d %H:%M:%S"
style
:Python 3.2
新增的参数,可取值为'%'
,'{'
和'$'
,如果不指定该参数则默认使用’%’
3.2.4 Filter
Filter可以被Handler和Logger用来做比level更细粒度的、更复杂的过滤功能。Filter是一个过滤器基类,它只允许某个logger层级下的日志事件通过过滤。该类定义如下:
class logging.Filter(name='')
filter(record)
比如,一个filter
实例化时传递的name
参数值为A.B
,那么该filter
实例将只允许名称为类似如下规则的loggers
产生的日志记录通过过滤:A.B
,A.B,C
,A.B.C.D
,A.B.D
,而名称为A.BB
, B.A.B
的loggers
产生的日志则会被过滤掉。如果name
的值为空字符串,则允许所有的日志事件通过过滤。
filter
方法用于具体控制传递的record
记录是否能通过过滤,如果该方法返回值为0
表示不能通过过滤,返回值为非0
表示可以通过过滤。
3.3 日志处理流程
下面这个图描述了日志的处理流程:
我们来描述一下这个图的处理流程:
- (在用户代码中进行)日志记录函数调用,如:
logger.info(...)
,logger.debug(...)
等; - 判断要记录的日志级别是否满足日志器设置的级别要求(要记录的日志级别要大于或等于日志器设置的级别才算满足要求),如果不满足则该日志记录会被丢弃并终止后续的操作,如果满足则继续下一步操作;
- 根据日志记录函数调用时掺入的参数,创建一个日志记录(LogRecord类)对象;
- 判断日志记录器上设置的过滤器是否拒绝这条日志记录,如果日志记录器上的某个过滤器拒绝,则该日志记录会被丢弃并终止后续的操作,如果日志记录器上设置的过滤器不拒绝这条日志记录或者日志记录器上没有设置过滤器则继续下一步操作–将日志记录分别交给该日志器上添加的各个处理器;
- 判断要记录的日志级别是否满足处理器设置的级别要求(要记录的日志级别要大于或等于该处理器设置的日志级别才算满足要求),如果不满足记录将会被该处理器丢弃并终止后续的操作,如果满足则继续下一步操作;
- 判断该处理器上设置的过滤器是否拒绝这条日志记录,如果该处理器上的某个过滤器拒绝,则该日志记录会被当前处理器丢弃并终止后续的操作,如果当前处理器上设置的过滤器不拒绝这条日志记录或当前处理器上没有设置过滤器测继续下一步操作;
- 如果能到这一步,说明这条日志记录经过了层层关卡允许被输出了,此时当前处理器会根据自身被设置的格式器(如果没有设置则使用默认格式)将这条日志记录进行格式化,最后将格式化后的结果输出到指定位置(文件、网络、类文件的Stream等)
- 如果日志器被设置了多个处理器的话,上面的第5-8步会执行多次;
- 这里才是完整流程的最后一步:判断该日志器输出的日志消息是否需要传递给上一级logger(之前提到过,日志器是有层级关系的)的处理器,如果
propagate
属性值为1则表示日志消息将会被输出到处理器指定的位置,同时还会被传递给parent
日志器的handlers
进行处理直到当前日志器的propagate
属性为0
停止,如果propagate
值为0
则表示不向parent
日志器的handlers
传递该消息,到此结束。
可见,一条日志信息要想被最终输出需要依次经过以下几次过滤:
- 日志器等级过滤;
- 日志器的过滤器过滤;
- 日志器的处理器等级过滤;
- 日志器的处理器的过滤器过滤;
需要说明的是: 关于上面第9个步骤,如果propagate值为1,那么日志消息会直接传递交给上一级logger的handlers进行处理,此时上一级logger的日志等级并不会对该日志消息进行等级过滤。
四、使用logging四大组件记录日志
4.1 需求
现在有以下几个日志记录的需求:
- 要求将所有级别的所有日志都写入磁盘文件中
- all.log文件中记录所有的日志信息,日志格式为:日期和时间 - 日志级别 - 日志信息
- error.log文件中单独记录error及以上级别的日志信息,日志格式为:日期和时间 - 日志级别 - 文件名[:行号] - 日志信息
- 要求all.log在每天凌晨进行日志切割
4.2 分析
- 要记录所有级别的日志,因此日志器的有效level需要设置为最低级别–DEBUG
- 日志需要发送到两个不同的目的地,因此需要设置两个handler;另外两个目的地都是磁盘文件,因此这两个handler都是与filehandler相关;
all.log
要求按照时间进行日志切割,因此他需要用logging.handlers.TimedRotatingFileHandler
; 而error.log
没有要求日志切割,因此可以使用FileHandler
;- 两个日志文件的格式不同,因此需要对这两个
handler
分别设置格式器;
import logging
import logging.handlers
import datetime
logger = logging.getLogger('mylogger')
logger.setLevel(logging.DEBUG)
# backup_interval = when * interval
# backupCount: backup logfile number
rf_handler = logging.handlers.TimedRotatingFileHandler('all.log', when='midnight', interval=1, backupCount=7, atTime=datetime.time(0, 0, 0, 0))
rf_handler.setFormatter(logging.Formatter("%(asctime)s - %(levelname)s - %(message)s"))
f_handler = logging.FileHandler('error.log')
f_handler.setLevel(logging.ERROR)
f_handler.setFormatter(logging.Formatter("%(asctime)s - %(levelname)s - %(filename)s[:%(lineno)d] - %(message)s"))
logger.addHandler(rf_handler)
logger.addHandler(f_handler)
logger.debug('debug message')
logger.info('info message')
logger.warning('warning message')
logger.error('error message')
logger.critical('critical message')
all.log
文件输出:
2024-01-05 17:05:03,633 - DEBUG - debug message
2024-01-05 17:05:03,633 - INFO - info message
2024-01-05 17:05:03,633 - WARNING - warning message
2024-01-05 17:05:03,633 - ERROR - error message
2024-01-05 17:05:03,633 - CRITICAL - critical message
error.log
文件输出:
2024-01-05 17:05:03,633 - ERROR - demo.py[:23] - error message
2024-01-05 17:05:03,633 - CRITICAL - demo.py[:24] - critical message
五、配置logging的集中方式
5.1 使用字典信息和dictConfig()函数实现日志配置
python代码:
import logging.config
import yaml
with open('logging.yml', 'r') as f_conf:
dict_conf = yaml.load(f_conf)
logging.config.dictConfig(dict_conf)
logger = logging.getLogger('simpleExample')
logger.debug('debug message')
logger.info('info message')
logger.warn('warn message')
logger.error('error message')
logger.critical('critical message')
logging.yml配置文件的内容:
version: 1
formatters:
simple:
format: '%(asctime)s - %(name)s - %(levelname)s - %(message)s'
handlers:
console:
class: logging.StreamHandler
level: DEBUG
formatter: simple
stream: ext://sys.stdout
console_err:
class: logging.StreamHandler
level: ERROR
formatter: simple
stream: ext://sys.stderr
file:
class: logging.FileHandler
level: DEBUG
formatter: simple
filename: all.log
loggers:
simpleExample:
level: DEBUG
handlers: [console, file]
propagate: yes
root:
level: DEBUG
handlers: [console_err]
输出结果:
2024-01-05 17:34:33,087 - simpleExample - DEBUG - debug message
2024-01-05 17:34:33,087 - simpleExample - INFO - info message
2024-01-05 17:34:33,087 - simpleExample - WARNING - warn message
2024-01-05 17:34:33,087 - simpleExample - ERROR - error message
2024-01-05 17:34:33,087 - simpleExample - CRITICAL - critical message
1. 关于dictConfig()函数的说明:
函数定义:
该函数定义在loging.config模块下:
def dictConfig(config):
"""Configure logging using a dictionary."""
dictConfigClass(config).configure()
该函数可以从一个字典对象中获取日志配置信息,config
参数就是这个字典对象。关于这个字典对象的内容规则会在下面进行描述。
2. 配置字典说明
无论是上面提到的配置文件,还是这里的配置字典,它们都要描述出日志配置所需要创建的各种对象以及这些对象之间的关联关系。比如,可以先创建一个名额为simple
的格式器formatter
;然后创建一个名为console
的处理器handler
,并指定该handler
输出日志所使用的格式器为simple
;然后再创建一个日志器logger
,并指定它所使用的处理器为console
。
传递给dictConfig()
函数的字典对象只能包含下面这些keys
,其中version
是必须指定的key
,其它key
都是可选项:
key名称 | 描述 |
---|---|
version | 必选项,其值是一个整数值,表示配置格式的版本,当前唯一可用的值就是1 |
formatters | 可选项,其值是一个字典对象,该字典对象每个元素的key为要定义的格式器名称,value为格式器的配置信息组成的dict,如format和datefmt |
filters | 可选项,其值是一个字典对象,该字典对象每个元素的key为要定义的过滤器名称,value为过滤器的配置信息组成的dict,如name |
handlers | 可选项,其值是一个字典对象,该字典对象每个元素的key为要定义的处理器名称,value为处理器的配置信息组成的dcit,如class、level、formatter和filters,其中class为必选项,其它为可选项;其他配置信息将会传递给class所指定的处理器类的构造函数,如下面的handlers定义示例中的stream、filename、maxBytes和backupCount等 |
loggers | 可选项,其值是一个字典对象,该字典对象每个元素的key为要定义的日志器名称,value为日志器的配置信息组成的dcit,如level、handlers、filters 和 propagate(yes |
root | 可选项,这是root logger的配置信息,其值也是一个字典对象。除非在定义其它logger时明确指定propagate值为no,否则root logger定义的handlers都会被作用到其它logger上 |
incremental | 可选项,默认值为False。该选项的意义在于,如果这里定义的对象已经存在,那么这里对这些对象的定义是否应用到已存在的对象上。值为False表示,已存在的对象将会被重新定义。 |
disable_existing_loggers | 可选项,默认值为True。该选项用于指定是否禁用已存在的日志器loggers,如果incremental的值为True则该选项将会被忽略 |
handlers的定义示例:
handlers:
console:
class : logging.StreamHandler
formatter: brief
level : INFO
filters: [allow_foo]
stream : ext://sys.stdout
file:
class : logging.handlers.RotatingFileHandler
formatter: precise
# 这里使用的是logging.handlers.RotatingFileHandler构造函数中的参数
filename: logconfig.log
maxBytes: 1024
backupCount: 3
3. 关于外部对象的访问
需要说明的是,上面所使用的对象并不限于loggging
模块所提供的对象,我们可以实现自己的formatter
或handler
类。另外,这些类的参数也许需要包含sys.stderr
这样的外部对象。
如果配置字典对象是使用Python代码构造的,可以直接使用sys.stdout
、sys.stderr
;但是当通过文本文件(如JSON、YAML格式的配置文件)提供配置时就会出现问题,因为在文本文件中,没有标准的方法来区分sys.stderr
和字符串sys.stderr
。为了区分它们,配置系统会在字符串值中查找特定的前缀,例如ext://sys.stderr
中ext://
会被移除,然后import sys.stderr
。