python中用logging实现日志滚动和过期日志删除

http://blog.csdn.net/ashi198866/article/details/46725813

用python中的logging库实现日志滚动和过期日志删除。

logging库提供了两个可以用于日志滚动的class（可以参考https://docs.python.org/2/library/logging.handlers.html），一个是RotatingFileHandler，它主要是根据日志文件的大小进行滚动，另一个是TimeRotatingFileHandler，它主要是根据时间进行滚动。在实际应用中，我们通常根据时间进行滚动，因此，本文中主要介绍TimeRotaingFileHandler的使用方法（RotatingFileHandler一样）。代码示例如下：

#!/usr/bin/env python
#_*_coding:utf-8_*_
# vim : set expandtab ts=4 sw=4 sts=4 tw=100 :

import logging
import time
import re
from logging.handlers import TimedRotatingFileHandler
from logging.handlers import RotatingFileHandler

def main():
    #日志打印格式
    log_fmt = '%(asctime)s\tFile \"%(filename)s\",line %(lineno)s\t%(levelname)s: %(message)s'
    formatter = logging.Formatter(log_fmt)
    #创建TimedRotatingFileHandler对象
    log_file_handler = TimedRotatingFileHandler(filename="ds_update", when="M", interval=2, backupCount=2)
    #log_file_handler.suffix = "%Y-%m-%d_%H-%M.log"
    #log_file_handler.extMatch = re.compile(r"^\d{4}-\d{2}-\d{2}_\d{2}-\d{2}.log$")
    log_file_handler.setFormatter(formatter)    
    logging.basicConfig(level=logging.INFO)
    log = logging.getLogger()
    log.addHandler(log_file_handler)
    #循环打印日志
    log_content = "test log"
    count = 0
    while count < 30:
        log.error(log_content)
        time.sleep(20)
        count = count + 1
    log.removeHandler(log_file_handler)


if __name__ == "__main__":
    main()
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34

• filename：日志文件名的prefix；
• when：是一个字符串，用于描述滚动周期的基本单位，字符串的值及意义如下： 
  “S”: Seconds 
  “M”: Minutes 
  “H”: Hours 
  “D”: Days 
  “W”: Week day (0=Monday) 
  “midnight”: Roll over at midnight
• interval: 滚动周期，单位有when指定，比如：when=’D’,interval=1，表示每天产生一个日志文件；
• backupCount: 表示日志文件的保留个数；

除了上述参数之外，TimedRotatingFileHandler还有两个比较重要的成员变量，它们分别是suffix和extMatch。suffix是指日志文件名的后缀,suffix中通常带有格式化的时间字符串，filename和suffix由“.”连接构成文件名（例如：filename=“runtime”， suffix=“%Y-%m-%d.log”,生成的文件名为runtime.2015-07-06.log）。extMatch是一个编译好的正则表达式，用于匹配日志文件名的后缀，它必须和suffix是匹配的，如果suffix和extMatch匹配不上的话，过期的日志是不会被删除的。比如，suffix=“%Y-%m-%d.log”, extMatch的只应该是re.compile(r”^\d{4}-\d{2}-\d{2}.log$”)。默认情况下，在TimedRotatingFileHandler对象初始化时，suffxi和extMatch会根据when的值进行初始化： 
‘S’: suffix=”%Y-%m-%d_%H-%M-%S”, extMatch=r”\^d{4}-\d{2}-\d{2}_\d{2}-\d{2}-\d{2}”； 
‘M’:suffix=”%Y-%m-%d_%H-%M”,extMatch=r”^\d{4}-\d{2}-\d{2}_\d{2}-\d{2}”; 
‘H’:suffix=”%Y-%m-%d_%H”,extMatch=r”^\d{4}-\d{2}-\d{2}_\d{2}”; 
‘D’:suffxi=”%Y-%m-%d”,extMatch=r”^\d{4}-\d{2}-\d{2}”; 
‘MIDNIGHT’:”%Y-%m-%d”,extMatch=r”^\d{4}-\d{2}-\d{2}”; 
‘W’:”%Y-%m-%d”,extMatch=r”^\d{4}-\d{2}-\d{2}”; 
如果对日志文件名没有特殊要求的话，可以不用设置suffix和extMatch，如果需要，一定要让它们匹配上。

python logging模块按日期打印日志，并删除过期的日志

官网https://docs.python.org/2/library/logging.html文档

一 简单日志打印： 
import logging

logging.basicConfig(level=logging.DEBUG,
                        format='%(asctime)s (filename)s[line:%(lineno)d] %(levelname)s %(message)s',
                        datefmt='%a, %d %b %Y %H:%M:%S',
                        filename='/home/URL/client/test_log.log',
                        filemode='a')
   
   
1
2
3
4
5
   
   
1
2
3
4
5

logging.basicConfig()函数中可通过具体参数来更改logging模块默认行为，可用参数有 
filename：用指定的文件名创建FiledHandler（后边会具体讲解handler的概念），这样日志会被存储在指定的文件中。 
filemode：文件打开方式，在指定了filename时使用这个参数，默认值为“a”还可指定为“w”。 
format：指定handler使用的日志显示格式。 
datefmt：指定日期时间格式。 
level：设置rootlogger； 默认的日志级别设置为WARNING（日志级别等级CRITICAL > ERROR > WARNING > INFO > DEBUG > NOTSET） 
stream：用指定的stream创建StreamHandler。可以指定输出到sys.stderr,sys.stdout或者文件，默认为sys.stderr。若同时列出了filename和stream两个参数，则stream参数会被忽略。

format参数中可能用到的格式化串： 
%(name)s Logger的名字 
%(levelno)s 数字形式的日志级别 
%(levelname)s 文本形式的日志级别 
%(pathname)s 调用日志输出函数的模块的完整路径名，可能没有 
%(filename)s 调用日志输出函数的模块的文件名 
%(module)s 调用日志输出函数的模块名 
%(funcName)s 调用日志输出函数的函数名 
%(lineno)d 调用日志输出函数的语句所在的代码行 
%(created)f 当前时间，用UNIX标准的表示时间的浮 点数表示 
%(relativeCreated)d 输出日志信息时的，自Logger创建以 来的毫秒数 
%(asctime)s 字符串形式的当前时间。默认格式是 “2003-07-08 16:49:45,896”。逗号后面的是毫秒 
%(thread)d 线程ID。可能没有 
%(threadName)s 线程名。可能没有 
%(process)d 进程ID。可能没有 
%(message)s用户输出的消息

二，只输出到文件不在ternimal打印

import logging
from logging.handlers import TimedRotatingFileHandler
from logging.handlers import RotatingFileHandler

def log_init():
    log_fmt = '%(asctime)s\tFile \"%(filename)s\",line %(lineno)s\t%(levelname)s: %(message)s'
    formatter = logging.Formatter(log_fmt)
    log_file_handler = TimedRotatingFileHandler(filename=LOG_PATH+"thread_", when="D", interval=1, backupCount=7)
    log_file_handler.suffix = "%Y-%m-%d_%H-%M.log"
    log_file_handler.extMatch = re.compile(r"^\d{4}-\d{2}-\d{2}_\d{2}-\d{2}.log$")
    log_file_handler.setFormatter(formatter)
    log_file_handler.setLevel(logging.DEBUG)
    log = logging.getLogger()
    log.addHandler(log_file_handler)
   '''
   程序运行
   '''
   #removeHandler 要放在程序运用打印日志的后面
    log.removeHandler(log_file_handler)()

   
   
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
   
   
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

结果是每天生成一个日志文件，保留最近7天的日志文件。

when：是一个字符串，用于描述滚动周期的基本单位，字符串的值及意义如下： 
“S”: Seconds 
“M”: Minutes 
“H”: Hours 
“D”: Days 
“W”: Week day (0=Monday) 
“midnight”: Roll over at midnight 
interval: 滚动周期，单位有when指定，比如：when=’D’,interval=1，表示每天产生一个日志文件； 
backupCount: 表示日志文件的保留个数；

删除日志文件设置： 
log_file_handler.suffix = “%Y-%m-%d_%H-%M.log” 
log_file_handler.extMatch = re.compile(r”^\d{4}-\d{2}-\d{2}_\d{2}-\d{2}.log$”) 
suffix和extMatch的格式要相对应，Year-4位，m-2位 以此类推

三、既输出到文件，又打印到terminal

def initLogging(logFilename):

    logging.basicConfig(
                    level    = logging.DEBUG,
                    format   = '%(asctime)s\tFile \"%(filename)s\",line %(lineno)s\t%(levelname)s: %(message)s'，
                    datefmt  = '%a, %d %b %Y %H:%M:%S',
                    filename = logFilename,
                    filemode = 'w');

    console = logging.StreamHandler();
    console.setLevel(logging.INFO);
    formatter = logging.Formatter('LINE %(lineno)-4d : %(levelname)-8s %(message)s');
    console.setFormatter(formatter);
    logging.getLogger('').addHandler(console);
   
   
1
2
3
4
5
6
7
8
9
10
11
12
13
14
   
   
1
2
3
4
5
6
7
8
9
10
11
12
13
14

通过logging.StreamHandler()函数来打印到terminal