Python logging 记录日志

最新推荐文章于 2024-09-11 13:40:03 发布

珞喻小森林

最新推荐文章于 2024-09-11 13:40:03 发布

阅读量424

点赞数

分类专栏： Python 日志文章标签： Python logging

本文链接：https://blog.csdn.net/m0_37357063/article/details/103757707

版权

Python 同时被 2 个专栏收录

1 篇文章 0 订阅

订阅专栏

日志

1 篇文章 0 订阅

订阅专栏

1.使用Python的 logging 模块记录日志

2. Python log 的日志级别

3.logging 日志格式

4.logging 模块：Logger 、Handler、Filter、Formatter

5.自动分割日志文件-日志文件按照时间划分或者按照大小划分

6总结与扩展

7 Linux 下的 rsyslog 日志服务器

8.参考

官方文档:

[1]https://docs.python.org/2/library/logging.html

0.程序日志的重要性

程序日志的重要性不言而喻，定位问题就会用到日志信息；另外，通过跟踪日志，也可以快速了解他人写的代码的执行情况。

1.使用Python的 logging 模块记录日志

下面给出一个例子，使用 logging 模块以一定的格式向控制台和本地日志文件输出程序执行过程中的日志信息：

#-*- coding: UTF-8 -*- 
#!/usr/bin/env python

import logging

def MyLogTest():
    logger = logging.getLogger('MyLogTest')
    logger.setLevel(level=logging.INFO)
    
    LogFormat=logging.Formatter('%(asctime)s - %(pathname)s - %(filename)s-%(funcName)s-[line:%(lineno)d] - %(levelname)s: %(message)s')
    
    file_handler = logging.FileHandler('MyLogTest.log')
    file_handler.setLevel(level=logging.INFO)
    file_handler.setFormatter(LogFormat)
      
    stream_handler = logging.StreamHandler()
    stream_handler.setLevel(logging.DEBUG)
    stream_handler.setFormatter(LogFormat)
    
    logger.addHandler(file_handler)
    logger.addHandler(stream_handler)
      
    logger.debug('debug级别，一般用来打印一些调试信息，级别最低')
    logger.info('info级别，一般用来打印一些正常的操作信息')
    logger.warning('waring级别，一般用来打印警告信息')
    logger.error('error级别，一般用来打印一些错误信息')
    logger.critical('critical级别，一般用来打印一些致命的错误信息，等级最高')
    
if __name__ == '__main__':
    MyLogTest()

控制台输出：

2019-12-29 21:01:43,566 - E:\programming_languages\Python\logging\MyLogTest2.py - MyLogTest2.py-MyLogTest-[line:25] - INFO: info级别，一般用来打印一些正常的操作信息
2019-12-29 21:01:43,589 - E:\programming_languages\Python\logging\MyLogTest2.py - MyLogTest2.py-MyLogTest-[line:26] - WARNING: waring级别，一般用来打印警告信息
2019-12-29 21:01:43,608 - E:\programming_languages\Python\logging\MyLogTest2.py - MyLogTest2.py-MyLogTest-[line:27] - ERROR: error级别，一般用来打印一些错误信息
2019-12-29 21:01:43,623 - E:\programming_languages\Python\logging\MyLogTest2.py - MyLogTest2.py-MyLogTest-[line:28] - CRITICAL: critical级别，一般用来打印一些致命的错误信息，等级最高

MyLogTest.log文件输出：

2019-12-29 21:03:52,020 - E:\programming_languages\Python\logging\MyLogTest2.py - MyLogTest2.py-MyLogTest-[line:25] - INFO: info级别，一般用来打印一些正常的操作信息
2019-12-29 21:03:52,043 - E:\programming_languages\Python\logging\MyLogTest2.py - MyLogTest2.py-MyLogTest-[line:26] - WARNING: waring级别，一般用来打印警告信息
2019-12-29 21:03:52,051 - E:\programming_languages\Python\logging\MyLogTest2.py - MyLogTest2.py-MyLogTest-[line:27] - ERROR: error级别，一般用来打印一些错误信息
2019-12-29 21:03:52,056 - E:\programming_languages\Python\logging\MyLogTest2.py - MyLogTest2.py-MyLogTest-[line:28] - CRITICAL: critical级别，一般用来打印一些致命的错误信息，等级最高

如果想知道 logging 模块所在路径，Linux 下同样适用，适合于查看源代码，继承（改造）logging 模块

>>> import logging
>>> logging
<module 'logging' from 'C:\Python27\lib\logging\__init__.pyc'>

2. Python log 的日志级别

Python 标准库 logging 用作记录日志，默认分为六种日志级别（括号为级别对应的数值）：

1）NOTSET（0）

2）DEBUG（10）

3）INFO（20）

4）WARNING（30）

5）ERROR（40）

6）CRITICAL（50）

我们自定义日志级别时注意不要和默认的日志级别数值相同，logging 执行时输出大于等于设置的日志级别的日志信息，如设置日志级别是 INFO，则 INFO、WARNING、ERROR、CRITICAL 级别的日志都会输出。

3.logging 日志格式

logging.basicConfig(format='%(asctime)s - %(filename)s[line:%(lineno)d] - %(levelname)s: %(message)s',
                    level=logging.DEBUG)

2019-07-19 15:54:26,625 - log_test.py[line:11] - DEBUG: debug级别，一般用来打印一些调试信息，级别最低

format 可以指定输出的内容和格式，其内置的参数如下：

%(name)s：Logger的名字
%(levelno)s：打印日志级别的数值
%(levelname)s：打印日志级别的名称
%(pathname)s：打印当前执行程序的路径，其实就是sys.argv[0]
%(filename)s：打印当前执行程序名
%(funcName)s：打印日志的当前函数
%(lineno)d：打印日志的当前行号
%(asctime)s：打印日志的时间
%(thread)d：打印线程ID
%(threadName)s：打印线程名称
%(process)d：打印进程ID
%(message)s：打印日志信息

4.logging 模块：Logger 、Handler、Filter、Formatter

logging 库采取了模块化的设计，提供了许多组件：记录器、处理器、过滤器和格式化器

Logger 暴露了应用程序代码能直接使用的接口。
Handler 将（记录器产生的）日志记录发送至合适的目的地。
Filter 提供了更好的粒度控制，它可以决定输出哪些日志记录。
Formatter 指明了最终输出中日志记录的内容和格式。

简单地说，其中 logger 是负责记录日志消息的，然后我们要把这些日志消息放到哪里，交给 Handler 处理，Filter 则帮我们过滤信息（不限于通过级别过滤，意思是还有其他过滤方式），Formatter 就是跟上面的 format 一个意思，用来设置日志内容和格式。

Logger 负责记录日志

Handler 负责日志的处理(怎么输出，输出到哪里）

Formatter 控制日志的输出格式

Filter 日志的过滤控制

logger = logging.getLogger('test')
logger.setLevel(level=logging.DEBUG)

formatter = logging.Formatter('%(asctime)s - %(filename)s[line:%(lineno)d] - %(levelname)s: %(message)s')
stream_handler = logging.StreamHandler()
stream_handler.setLevel(logging.DEBUG)
stream_handler.setFormatter(formatter)
logger.addHandler(stream_handler)
...

我们发现Formatter是给handler设置的，这很好理解，因为handler是负责把日志输出到哪里，所以是给它设置格式，而不是给logger；那为什么level需要设置两次呢？给logger设置是告诉它要记录哪些级别的日志，给handler设是告诉它要输出哪些级别的日志，相当于进行了两次过滤。这样的好处在于，当我们有多个日志去向时，比如既保存到文件，又输出到控制台，就可以分别给他们设置不同的级别；logger 的级别是先过滤的，所以被 logger 过滤的日志 handler 也是无法记录的，这样就可以只改 logger 的级别而影响所有输出。两者结合可以更方便地管理日志记录的级别。

5.自动分割日志文件-日志文件按照时间划分或者按照大小划分

有时候我们需要对日志文件进行分割，以方便我们的管理。python 提供了两个处理器，方便我们分割文件：

logging.handlers.RotatingFileHandler -> 按照大小自动分割日志文件，一旦达到指定的大小重新生成文件
logging.handlers.TimedRotatingFileHandler -> 按照时间自动分割日志文件

如果将日志保存在一个文件中，那么时间一长，或者日志一多，单个日志文件就会很大，既不利于备份，也不利于查看。我们会想到能不能按照时间或者大小对日志文件进行划分呢？答案肯定是可以的，并且还很简单，logging 考虑到了我们这个需求。logging.handlers 文件中提供了 TimedRotatingFileHandler 和 RotatingFileHandler 类分别可以实现按时间和大小划分。打开这个 handles 文件，可以看到还有其他功能的 Handler 类，它们都继承自基类 BaseRotatingHandler。

# TimedRotatingFileHandler 类构造函数
def __init__(self, filename, when='h', interval=1, backupCount=0, encoding=None, delay=False, utc=False, atTime=None):
# RotatingFileHandler 类的构造函数
def __init__(self, filename, mode='a', maxBytes=0, backupCount=0, encoding=None, delay=False)

示例代码：

1）按照日志文件的大小进行划分：

from logging import handlers

# 每隔 1000 Byte 划分一个日志文件，备份文件为 3 个
file_handler = logging.handlers.RotatingFileHandler("test.log", mode="w", maxBytes=1000, backupCount=3, encoding="utf-8")

2）按照日志的记录时间进行划分：

# 每隔 1小时 划分一个日志文件，interval 是时间间隔，备份文件为 10 个
handler2 = logging.handlers.TimedRotatingFileHandler("test.log", when="H", interval=1, backupCount=10)

若改为when='S'，则以秒为周期进行切割，运行几次后会生成文件，文件名以时间为后缀进行区分，其中没有后缀的为最新日志文件。

6总结与扩展

Python logging 库设计的真的非常灵活，如果有特殊的需要还可以在这个基础的 logging 库上进行改进，创建新的 Handler 类解决实际开发中的问题。

Python 官网虽然说 logging 库是线程安全的，但在多进程、多线程、多进程多线程环境中仍然还有值得考虑的问题，比如，如何将日志按照进程（或线程）划分为不同的日志文件，也即一个进程（或线程）对应一个文件。

7 Linux 下的 rsyslog 日志服务器

[1]https://blog.csdn.net/paopaohll/article/details/84388313

8.参考

[1]https://blog.csdn.net/Runner1st/article/details/96481954

[2]https://cloud.tencent.com/developer/article/1354396

珞喻小森林

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录