【Python基础】logging模块的使用

最新推荐文章于 2022-04-17 11:51:12 发布

qi_f

最新推荐文章于 2022-04-17 11:51:12 发布

阅读量170

点赞数

分类专栏： python 文章标签： pyhton

本文链接：https://blog.csdn.net/weixin_40745116/article/details/93311327

版权

python 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

一、 logging模块的日志级别

logging模块默认定义了以下几个日志等级，它允许开发人员自定义其他日志级别，不推荐这么做，这样做会导致在开发供别人使用的库时，对日志级别的混乱。

日志等级（级别）	描述
`DEBUG`	最详细的日志信息，典型应用场景是问题诊断
`INFO`	信息详细程度仅次于DEBUG，通常只记录关键节点信息，用于确认一切都是按照我们预期的那样进行工作
`WARNING`	当某些不期望的事情发生时记录的信息（如，磁盘可用空间较低），但是此时应用程序还是正常运行的
`ERROR`	由于一个更严重的问题导致某些功能不能正常运行时记录的信息
`CRITICAL`	当发生严重错误，导致应用程序不能继续运行时记录的信息

开发应用程序或部署开发环境时，可以使用DEBUG或INFO级别的日志获取尽可能详细的日志信息来进行开发或部署调试；应用上线或部署生产环境时，应该使用WARNING或ERROR或CRITICAL级别的日志来降低机器的I/O压力和提高获取错误日志信息的效率。日志级别的指定通常都是在应用程序的配置文件中进行指定的。
上面列表中的日志等级是从上到下依次升高的，即：DEBUG < INFO < WARNING < ERROR < CRITICAL，而日志的信息量是依次减少的；
当为某个应用程序指定一个日志级别后，应用程序会记录所有日志级别大于或等于指定日志级别的日志信息，而不是仅仅记录指定级别的日志信息，nginx、php等应用程序以及这里要提高的python的logging模块都是这样的。同样，logging模块也可以指定日志记录器的日志级别，只有级别大于或等于该指定日志级别的日志记录才会被输出，小于该等级的日志记录将会被丢弃

二、logging模块的使用方式介绍

logging模块提供了两种记录日志的方式：

使用logging提供的模块级别的函数
是使用Logging日志系统的四大组件
其实，logging所提供的模块级别的日志记录函数也是对logging日志系统相关类的封装而已。

1. logging模块定义的模块级别的常用函数

函数	描述
`logging.debug(msg, args, *kwargs)`	创建一条严重级别为DEBUG的日志记录
`logging.info(msg, args, *kwargs)`	创建一条严重级别为INFO的日志记录
`logging.warning(msg, args, *kwargs)`	创建一条严重级别为WARNING的日志记录
`logging.error(msg, args, *kwargs)`	创建一条严重级别为ERROR的日志记录
`logging.critical(msg, args, *kwargs)`	创建一条严重级别为CRITICAL的日志记录
`logging.log(level, args, *kwargs)`	创建一条严重级别为level的日志记录
`logging.basicConfig(**kwargs)`	对root logger进行一次性配置

其中logging.basicConfig(**kwargs)函数用于指定“要记录的日志级别”、“日志格式”、“日志输出位置”、“日志文件的打开模式”等信息，其他几个都是用于记录各个级别日志的函数。

2. logging模块的四大组件

组件	说明
`loggers`	提供应用程序代码直接使用的接口
`handlers`	用于将日志记录发送到指定的目的位置
`filters`	提供更细粒度的日志过滤功能，用于决定哪些日志记录将会被输出（其它的日志记录将会被忽略）
`formatters`	用于控制日志信息的最终输出格式

logging模块提供的模块级别的那些函数实际上也是通过这几个组件的相关实现类来记录日志的，只是在创建这些类的实例时设置了一些默认值。

3. logging.basicConfig()函数说明

该方法用于为logging日志系统做一些基本配置，方法定义如下：
logging.basicConfig(**kwargs)
该函数可接收的关键字参数如下：

参数名称	描述
`filename`	指定日志输出目标文件的文件名，指定该设置项后日志信心就不会被输出到控制台了
`filemode`	指定日志文件的打开模式，默认为’a’。需要注意的是，该选项要在filename指定时才有效
`format`	指定日志格式字符串，即指定日志输出时所包含的字段信息以及它们的顺序。logging模块定义的格式字段下面会列出。
`datefmt`	指定日期/时间格式。需要注意的是，该选项要在format中包含时间字段%(asctime)s时才有效
`level`	指定日志器的日志级别
`stream`	指定日志输出目标stream，如sys.stdout、sys.stderr以及网络stream。需要说明的是，stream和filename不能同时提供，否则会引发 `ValueError`异常
`style`	Python 3.2中新添加的配置项。指定format格式字符串的风格，可取值为’%’、’{‘和’$’，默认为’%
`handlers`	Python 3.3中新添加的配置项。该选项如果被指定，它应该是一个创建了多个Handler的可迭代对象，这些handler将会被添加到root logger。需要说明的是：filename、stream和handlers这三个配置项只能有一个存在，不能同时出现2个或3个，否则会引发`ValueError`异常。

4. logging模块定义的格式字符串字段

logging模块中format格式字符串中字段：

字段/属性名称	使用格式	描述
`asctime`	`%(asctime)s`	日志事件发生的时间–人类可读时间，如：2019-06-21 12:23:15,241
`created`	`%(created)f`	日志事件发生的时间–时间戳，就是当时调用time.time()函数返回的值
`relativeCreated`	`%(relativeCreated)d`	日志事件发生的时间相对于logging模块加载时间的相对毫秒数的
`msecs`	`%(msecs)d`	日志事件发生事件的毫秒部分
`levelname`	`%(levelname)s`	该日志记录的文字形式的日志级别（‘DEBUG’, ‘INFO’, ‘WARNING’, ‘ERROR’, ‘CRITICAL’）
`levelno`	`%(levelno)s`	该日志记录的数字形式的日志级别（10, 20, 30, 40, 50）
`name`	`%(name)s`	所使用的日志器名称，默认是’root’，因为默认使用的是 rootLogger
`message`	`%(message)s`	日志记录的文本内容，通过 `msg % args`计算得到的
`pathname`	`%(pathname)s`	调用日志记录函数的源码文件的全路径
`filename`	`%(filename)s`	pathname的文件名部分，包含文件后缀
`module`	`%(module)s`	filename的名称部分，不包含后缀
`lineno`	`%(lineno)d`	调用日志记录函数的源代码所在的行号
`funcName`	`%(funcName)s`	调用日志记录函数的函数名
`process`	`%(process)d`	进程ID
`processName`	`%(processName)s`	进程名称
`thread`	`%(thread)d`	线程ID
`threadName`	`%(threadName)s`	线程名称

三、logging模块日志流处理流程

1. logging日志模块四大组件

组件名称	对应类名	功能描述
`日志器`	`Logger`	提供了应用程序可一直使用的接口
`处理器`	`Handler`	将logger创建的日志记录发送到合适的目的输出
`过滤器`	`Filter`	提供了更细粒度的控制工具来决定输出哪条日志记录，丢弃哪条日志记录
`格式器`	`Formatter`	决定日志记录的最终输出格式

logging模块就是通过这些组件来完成日志处理的，上面所使用的logging模块级别的函数也是通过这些组件对应的类来实现的。

这些组件之间的关系描述：

日志器（logger）需要通过处理器（handler）将日志信息输出到目标位置，如：文件、sys.stdout、网络等；
不同的处理器（handler）可以将日志输出到不同的位置；
日志器（logger）可以设置多个处理器（handler）将同一条日志记录输出到不同的位置；
每个处理器（handler）都可以设置自己的过滤器（filter）实现日志过滤，从而只保留感兴趣的日志；
每个处理器（handler）都可以设置自己的格式器（formatter）实现同一条日志以不同的格式输出到不同的地方。
简单点说就是：日志器（logger）是入口，真正干活儿的是处理器（handler），处理器（handler）还可以通过过滤器（filter）和格式器（formatter）对要输出的日志内容做过滤和格式化等处理操作。

2. logging日志模块相关类及其常用方法介绍

下面介绍下与logging四大组件相关的类：Logger, Handler, Filter, Formatter。

Logger类

Logger对象有3个任务要做：

向应用程序代码暴露几个方法，使应用程序可以在运行时记录日志消息；
基于日志严重等级（默认的过滤设施）或filter对象来决定要对哪些日志进行后续处理；
将日志消息传送给所有感兴趣的日志handlers。
Logger对象最常用的方法分为两类：
配置方法
消息发送方法
最常用的配置方法如下：

方法	描述
`Logger.setLevel()`	设置日志器将会处理的日志消息的最低严重级别
`Logger.addHandler()`	为该logger对象添加一个handler对象
`Logger.removeHandler()`	为该logger对移除添加一个handler对象
`Logger.addFilter()`	为该logger对象添加一个filter对象
`Logger.removeFilter()`	为该logger对移除添加一个filter对象

关于Logger.setLevel()方法的说明：

内建等级中，级别最低的是DEBUG，级别最高的是CRITICAL。例如setLevel(logging.INFO)，此时函数参数为INFO，那么该logger将只会处理INFO、WARNING、ERROR和CRITICAL级别的日志，而DEBUG级别的消息将会被忽略/丢弃。
logger对象配置完成后，可以使用下面的方法来创建日志记录：

方法	描述
`Logger.debug(), Logger.info(), Logger.warning(), Logger.error(), Logger.critical()`	创建一个与它们的方法名对应等级的日志记录
`Logger.exception()`	创建一个类似于Logger.error()的日志消息象
`Logger.log()`	需要获取一个明确的日志level参数来创建一个日志记录

说明：

Logger.exception()与Logger.error()的区别在于：Logger.exception()将会输出堆栈追踪信息，另外通常只是在一个exception handler中调用该方法。
Logger.log()与Logger.debug()、Logger.info()等方法相比，虽然需要多传一个level参数，显得不是那么方便，但是当需要记录自定义level的日志时还是需要该方法来完成。

Handler类

Handler对象的作用是（基于日志消息的level）将消息分发到handler指定的位置（文件、网络、邮件等）。Logger对象可以通过addHandler()方法为自己添加0个或者更多个handler对象。比如，一个应用程序可能想要实现以下几个日志需求：

把所有日志都发送到一个日志文件中；
把所有严重级别大于等于error的日志发送到stdout（标准输出）；
把所有严重级别为critical的日志发送到一个email邮件地址。
这种场景就需要3个不同的handlers，每个handler复杂发送一个特定严重级别的日志到一个特定的位置。
一个handler中只有非常少数的方法是需要应用开发人员去关心的。对于使用内建handler对象的应用开发人员来说，似乎唯一相关的handler方法就是下面这几个配置方法：

方法	描述
`Handler.setLevel()`	设置handler将会处理的日志消息的最低严重级别
`Handler.setFormatter()`	为handler设置一个格式器对象
`Handler.addFilter()`	为handler添加一个过滤器对象
`Handler.removeFilter()`	为handler删除一个过滤器对象

需要说明的是，应用程序代码不应该直接实例化和使用Handler实例。因为Handler是一个基类，它只定义了素有handlers都应该有的接口，同时提供了一些子类可以直接使用或覆盖的默认行为。下面是一些常用的Handler：

方法	描述
`logging.StreamHandler`	将日志消息发送到输出到Stream，如std.out, std.err或任何file-like对象。
`logging.FileHandler`	将日志消息发送到磁盘文件，默认情况下文件大小会无限增长
`logging.handlers.RotatingFileHandler`	将日志消息发送到磁盘文件，并支持日志文件按大小切割
`logging.hanlders.TimedRotatingFileHandler`	将日志消息发送到磁盘文件，并支持日志文件按时间切割
`logging.handlers.HTTPHandler`	将日志消息以GET或POST的方式发送给一个HTTP服务器
`logging.handlers.SMTPHandler`	将日志消息发送给一个指定的email地址
`logging.NullHandler`	该Handler实例会忽略error messages，通常被想使用logging的library开发者使用来避免’No handlers could be found for logger XXX’信息的出现。

Formater类

Formater对象用于配置日志信息的最终顺序、结构和内容。与logging.Handler基类不同的是，应用代码可以直接实例化Formatter类。另外，如果你的应用程序需要一些特殊的处理行为，也可以实现一个Formatter的子类来完成。
Formatter类的构造方法定义如下：

logging.Formatter.__init__(fmt=None, datefmt=None, style='%')

可见，该构造方法接收3个可选参数：

fmt：指定消息格式化字符串，如果不指定该参数则默认使用message的原始值
datefmt：指定日期格式字符串，如果不指定该参数则默认使用"%Y-%m-%d %H:%M:%S"
style：可取值为 ‘%’, ‘{‘和 ‘$’，如果不指定该参数则默认使用’%’
比如，一个filter实例化时传递的name参数值为’A.B’，那么该filter实例将只允许名称为类似如下规则的loggers产生的日志记录通过过滤：‘A.B’，‘A.B,C’，‘A.B.C.D’，‘A.B.D’，而名称为’A.BB’, 'B.A.B’的loggers产生的日志则会被过滤掉。如果name的值为空字符串，则允许所有的日志事件通过过滤。
filter方法用于具体控制传递的record记录是否能通过过滤，如果该方法返回值为0表示不能通过过滤，返回值为非0表示可以通过过滤。

说明：

如果有需要，也可以在filter(record)方法内部改变该record，比如添加、删除或修改一些属性。
我们还可以通过filter做一些统计工作，比如可以计算下被一个特殊的logger或handler所处理的record数量等。

四、logging模块使用案例

import os
import copy
import threading
import logging
import logging.config

from concurrent_log_handler import ConcurrentRotatingFileHandler


def synchronized(func):
    func.__lock__ = threading.Lock()

    def synced_func(*args, **kws):
        with func.__lock__:
            return func(*args, **kws)

    return synced_func

def singleton(cls):
    '''
    单例模式
    '''
    instances = {}
    
	@synchronized
    def get_instance(*args, **kwargs):
        if cls not in instances:
            instances[cls] = cls(*args, **kwargs)
        return instances[cls]

    return get_instance


@singleton
class Logger(object):

	def __init__(self,name=None):
		self.logger = logging.getLogger(name) # 需要注意的是getLogger不传参默认是单例模式
		# log file
		logfile = os.path.abspath("logs/mylogfile.log")

		# 日志格式
		format_str = logging.Formatter('[%(asctime)s %(filename)s %(lineno)d %(levelname)s %(process)d] %(message)s')

		# 将日志分割成每份10M大小，保留31份旧日志
		handler = ConcurrentRotatingFileHandler(logfile, 'a', 10*1024*1024, 31)
		handler.setFormatter(format_str)
		self.logger.addHandler(handler)
		
		#按照时间分割，每天一份日志，保留一星期的记录
		# handler = TimedRotatingFileHandler("logs/tile_service.log", when="D", interval=1, backupCount=7)
		# handler.suffix = "%Y-%m-%d.log"
		# formatter = logging.Formatter('[%(asctime)s %(process)d %(funcName)s %(lineno)d %(levelname)s] %(message)s')
		# handler.setFormatter(formatter)
		# logger.addHandler(handler)

		# 设置打印到控制到
		sh = logging.StreamHandler()
		sh.setFormatter(format_str)
		self.logger.addHandler(sh)
		
		# 设置日志级别
		self.logger.setLevel(logging.INFO)
		# self.logger.setLevel(logging.DEBUG)

	def get_logger(self):
		return self.logger

if __name__ == '__main__':
	l1 = Logger().get_logger()
	log2 = copy.deepcopy(Logger)
	l2 = log2().get_logger()
	print(l1 is l2)
	logging.basicConfig()

参考链接： https://www.cnblogs.com/testdjt/p/7834856.html.

qi_f

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
【Python基础】logging模块的使用

一、 logging模块的日志级别logging模块默认定义了以下几个日志等级，它允许开发人员自定义其他日志级别，不推荐这么做，这样做会导致在开发供别人使用的库时，对日志级别的混乱。日志等级（级别）描述DEBUG最详细的日志信息，典型应用场景是问题诊断INFO信息详细程度仅次于DEBUG，通常只记录关键节点信息，用于确认一切都是按照我们预期的那样进行工作W...
复制链接

扫一扫

专栏目录