python logging模块_python--logging模块

一、简介

python的logging模块提供了通用的日志系统，可以方便第三方模块或者是应用使用。这个模块提供不同的日志级别，并可以采用不同的方式记录日志，比如文件，HTTP GET/POST，SMTP，Socket等，甚至可以自己实现具体的日志记录方式。

logging模块与log4j的机制是一样的，只是具体的实现细节不同。模块提供logger，handler，filter，formatter。

logger：提供日志接口，供应用代码使用。logger最长用的操作有两类：配置和发送日志消息。可以通过logging.getLogger(name)获取logger对象，如果不指定name则返回root对象，多次使用相同的name调用getLogger方法返回同一个logger对象。

handler：将日志记录(log record)发送到合适的目的地(destination)，比如文件，socket等。一个logger对象可以通过addHandler方法添加0到多个handler，每个handler又可以定义不同日志级别，以实现日志分级过滤显示。

filter：提供一种优雅的方式决定一个日志记录是否发送到handler。

formatter：指定日志记录输出的具体格式。formatter的构造方法需要两个参数：消息的格式字符串和日期字符串，这两个参数都是可选的。

与log4j类似，logger，handler和日志消息的调用可以有具体的日志级别(Level)，只有在日志消息的级别大于logger和handler的级别。

logging的日志可以分为debug(),info(),warning(),error() 和 critical()5个级别。

二、用法

2.1 初识

logging的5个日志级别debug最低，critical高，日志级别越低输出的信息就越详细。

import logging

logging.debug("This is debug info")

logging.info("This is info infomation")

logging.warning("user [bigberg] attempted wrong password more than 3 times")

logging.error("This is error info")

logging.critical("server is down")

#输出日志

WARNING:root:user [bigberg] attempted wrong password more than 3 times

ERROR:root:This is error info

CRITICAL:root:server is down

可以看出python中默认的日志输出级别为 warning()，低于warning()级别以下的就输出了。

2.2 日志级别

2.3 将日志写入文件

import logging

logging.basicConfig(filename="../log/test.log",level=logging.DEBUG) # 定义文件和日志级别

logging.debug("This is debug info")

logging.info("This is info infomation")

logging.warning("user [bigberg] attempted wrong password more than 3 times")

logging.error("This is error info")

logging.critical("server is down")

可以看到日志已经写到test.log的文件中了，我们在此选择的日子级别是DEBUG，所以所有的日子信息都会保存到日志文件中。如果选择选择WARNING级别那么其以下的级别日志信息就不会写入。而且日志是以追加的形式写入test.log文件中的。

2.4 为日志信息增加时间

import logging

logging.basicConfig(filename="../log/test.log",

level=logging.INFO,

format='%(asctime)s %(levelname)s: %(message)s ',

datefmt='%Y/%m/%d %H:%M:%S')

logging.debug("This is debug info")

logging.info("This is info infomation")

logging.warning("user [bigberg] attempted wrong password more than 3 times")

logging.error("This is error info")

logging.critical("server is down")

# %(asctime)s 设置时间格式

# %(levelname)s 日志级别

# %(message)s 日志信息

###日志输出

2017/04/20 18:54:46 INFO: This is info infomation

2017/04/20 18:54:46 WARNING: user [bigberg] attempted wrong password more than 3 times

2017/04/20 18:54:46 ERROR: This is error info

2017/04/20 18:54:46 CRITICAL: server is down

2.5 format日志格式

我们可以根据自己的需求在format中添加自己需要的功能，比如在日志输出中添加出错的文件名和所在的行数。

三、复杂日志输出

Python 使用logging模块记录日志涉及四个主要类，使用官方文档中的概括最为合适：

logger提供了应用程序可以直接使用的接口；

handler将(logger创建的)日志记录发送到合适的目的输出；

filter提供了细度设备来决定输出哪条日志记录；

formatter决定日志记录的最终输出格式。

3.1 logger

每个程序在输出信息前都要获得一个Logger。Logger通常对应了程序的模块名，如一个支付模块Log = logging.getLogger("app.pay")， 如果要日志文件是分开的，比如error 和 access 不在一起，模块名不能一样，否则会写在一起，或者写双份。

Logger.setLevel(lel):指定最低的日子级别，低于lel的级别将被忽略。debug是最低的内置级别，critical为最高

Logger.addFilter(filt)、Logger.removeFilter(filt):添加或者删除指定的filter

Logger.addHandler(hdlr)、Logger.removeHandler(hdlr):添加或者删除指定的handler

Logger.debug()、Logger.info()、Logger.warning()、Logger.error()、Logger.critical()：可以设置的日志级别

3.2 handler

handler对象负责发送相关的信息到指定目的地。Python的日志系统有多种Handler可以使用。有些Handler可以把信息输出到控制台，有些Logger可以把信息输出到文件，还有些 Handler可以把信息发送到网络上。如果觉得不够用，还可以编写自己的Handler。可以通过addHandler()方法添加多个多handler。

每个Logger可以附加多个handler:

1)logging.StreamHandler: 屏幕输出

使用这个Handler可以向类似与sys.stdout或者sys.stderr的任何文件对象(file object)输出信息。它的构造函数是：

StreamHandler([strm])

其中strm参数是一个文件对象。默认是sys.stderr

2) logging.FileHandler: 写入文件

和StreamHandler类似，用于向一个文件输出日志信息。不过FileHandler会帮你打开这个文件。它的构造函数是：

FileHandler(filename[,mode])

filename是文件名，必须指定一个文件名。

mode是文件的打开方式。参见Python内置函数open()的用法。默认是’a'，即添加到文件末尾。

同时分别向屏幕和文件输出日志：

import logging

logger = logging.getLogger("TEST-LOG")

logger.setLevel(logging.DEBUG)

# StreamHandler

ch = logging.StreamHandler()

ch.setLevel(logging.WARNING) # 可以在handler中设置具体的日子级别

# FileHandler

fh = logging.FileHandler("../log/handler.log", encoding="utf-8")

fh.setLevel(logging.ERROR)

# Formatter

ch_formatter = logging.Formatter("%(asctime)s %(filename)s-%(lineno)d %(levelname)s:%(message)s",

datefmt='%Y/%m/%d %H:%M:%S')

fh_formatter = logging.Formatter('%(asctime)s %(filename)s-%(lineno)d %(levelname)s: %(message)s',

datefmt='%Y/%m/%d %H:%M:%S')

ch.setFormatter(ch_formatter)

fh.setFormatter(fh_formatter)

logger.addHandler(ch)

logger.addHandler(fh)

logger.debug("This is debug info")

logger.info("This is info infomation")

logger.warning("user [bigberg] attempted wrong password more than 3 times")

logger.error("This is error info")

logger.critical("server is down")

屏幕输出：

文件输出：

3.3 日志文件截断

1.按文件大小截断日志

logging.handler.RotatingFileHandler

这个Handler类似于上面的FileHandler，但是它可以管理文件大小。当文件达到一定大小之后，它会自动将当前日志文件改名，然后创建 一个新的同名日志文件继续输出。比如日志文件是chat.log。当chat.log达到指定的大小之后，RotatingFileHandler自动把 文件改名为chat.log.1。不过，如果chat.log.1已经存在，会先把chat.log.1重命名为chat.log.2。。。最后重新创建 chat.log，继续输出日志信息。它的构造函数是：

RotatingFileHandler( filename[, mode[, maxBytes[, backupCount]]])

其中filename和mode两个参数和FileHandler一样。

maxBytes用于指定日志文件的最大文件大小。如果maxBytes为0，意味着日志文件可以无限大，这时上面描述的重命名过程就不会发生。

backupCount用于指定保留的备份文件的个数。比如，如果指定为2，当上面描述的重命名过程发生时，原有的chat.log.2并不会被更名，而是被删除。

import logging

from logging import handlers

logger = logging.getLogger("Test-log")

log_file = "../log/rotaing.log"

# 设置日志文件大小在100B时截断

# 最多保留3个日志文件

fh = handlers.RotatingFileHandler(filename=log_file, maxBytes=100, backupCount=3, encoding="utf-8")

formatter = logging.Formatter('%(asctime)s %(filename)s-%(lineno)d %(levelname)s: %(message)s',

datefmt='%Y/%m/%d %H:%M:%S')

fh.setFormatter(formatter)

logger.addHandler(fh)

logger.warning("test1")

logger.warning("test2")

logger.warning("test3")

logger.warning("test4")

logger.warning("test5")

输出的日志文件：

2.按日期截断

logging.handlers.TimedRotatingFileHandler

这个Handler和RotatingFileHandler类似，不过，它没有通过判断文件大小来决定何时重新创建日志文件，而是间隔一定时间就 自动创建新的日志文件。重命名的过程与RotatingFileHandler类似，不过新的文件不是附加数字，而是当前时间。它的构造函数是：

TimedRotatingFileHandler( filename [,when [,interval [,backupCount]]])

其中filename参数和backupCount参数和RotatingFileHandler具有相同的意义。

interval是时间间隔。

when参数是一个字符串。表示时间间隔的单位，不区分大小写。它有以下取值：

S 秒

M 分

H 小时

D 天

W 每星期(interval==0时代表星期一)

midnight 每天凌晨

import time

import logging

from logging import handlers

logger = logging.getLogger("test-log")

log_file = "../log/time_rotating.log"

# S 代表秒

# interval 间隔时间

# 保留文件3个

fh = handlers.TimedRotatingFileHandler(filename=log_file, when="S", interval=3, backupCount=3, encoding="utf-8")

fh.setLevel(logging.WARNING)

formatter = logging.Formatter('%(asctime)s %(filename)s-%(lineno)d %(levelname)s: %(message)s', datefmt='%Y/%m/%d %H:%M:%S')

fh.setFormatter(formatter)

logger.addHandler(fh)

logger.warning("test1")

logger.warning("test12")

time.sleep(3)

logger.warning("test13")

logger.warning("test14")

日志文件输出：