python logging动态变更输出日志文件名

原创 2015年11月21日 18:22:32

  python作为一门非常容易上手的脚本语言,日志输出更是简单,logging模块,简单的设置配置和属性,就能实现到控制台输出日志,在basicConfig()设置文件名,就能够将日志信息写入文件,简直是简单到不能再简单。
  最近在项目中就遇到一个日志问题,使用python编写的服务程序一直运行,连续处理一些任务,每个任务的关键信息都需要输出到文件中,便于维护人员查看,可是对于简单实用logging来说,日志写入文件非常简单,由于服务程序连续运行,一直向一个文件记录日志信息有些不妥,有常识的开发人员都知道,长时间的日志输出会导致日志文件过大,可是如何在服务运行时,修改日志的输出文件,以当天日期作为日志文件名。

代码编写环境:python3.4.3

1.logging.basicConfig()

首先,想到的是更改logging.basicConfig(filename=logfilename)参数,来实现变更日志文件名的目的。编写代码如下:

log_fmt = '%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s'
for i in range(1,4):
    filename = str.format('mylog%d.txt' % i)
    logging.basicConfig(format=log_fmt, level=logging.DEBUG, filename=filename)

    logging.debug('This is debug message')
    logging.info('This is info message')
    logging.warning('This is warning message')

  运行结果没有达到预期的效果,只有日志文件mylog1.txt被创建,mylog2.txt和mylog3.txt都未被创建,连续3次的输出的内容都写入mylog1.txt中。说明logging.basicConfig()设置属性具有全局性,第一次设置之后,之后再设置将不再生效。查看官方文档,也确实是如此。

logging.basicConfig(**kwargs)

Does basic configuration for the logging system by creating a StreamHandler with a default Formatter and adding it to the root logger. The functions debug(), info(), warning(), error() and critical() will call basicConfig() automatically if no handlers are defined for the root logger.

This function does nothing if the root logger already has handlers configured for it.

此路不通,只好用其他方法。

2.Handler对象

logging支持添加多个不同类型的handler对象,实现对控制台(logging.StreamHandler)、文件(logging.FileHandler)等不同目标输出日志。

logging支持的日志详情见文档logging.handlers

通过增加多个handler对象,可是实现同时在控制台、文件同时输出不同级别的日志信息。

# 默认配置logging写入本地文件
logging.basicConfig(level=logging.DEBUG,
            format='%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s',
            datefmt='%a, %d %b %Y %H:%M:%S',
            filename='myapp2.log',
            filemode='w')

#定义一个StreamHandler,将INFO级别或更高的日志信息打印到标准错误,并将其添加到当前的日志处理对象。
console = logging.StreamHandler()
console.setLevel(logging.INFO)
formatter = logging.Formatter('%(name)-12s: %(levelname)-8s %(message)s')
console.setFormatter(formatter)
logging.getLogger('').addHandler(console)

logging.debug('This is debug message')
logging.info('This is info message')
logging.warning('This is warning message')

  考虑实现简单又能说明效果,写入文件使用logging.basicConfig()设置,并添加输出指向控制台的流处理(StreamHandler)对象console,实现同时输出日志。当然也可以反过来,默认设置控制台输出日志,之后创建文件对象(logging.FileHandler),并加入处理集合,实现同样的效果。

logging.getLogger('')获取的是名为’root’的默认根节点

  同时,logging提供addHandler()的方法,自然也会有管理handler的方法。

  延伸之前Handler的思路,我们可以实现对handler的动态管理,变更日志文件。每次需要变更输出文件路径前,使用handler管理清空原先的logging.FileHandler对象,重新创建一个新文件名的logging.FileHandler对象即可。

# 默认配置logging写入本地文件
logging.basicConfig(level=logging.DEBUG,
            format='%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s',
            datefmt='%a, %d %b %Y %H:%M:%S',
            filename='myapp2.log',
            filemode='w')

#定义一个StreamHandler,将INFO级别或更高的日志信息打印到标准错误,并将其添加到当前的日志处理对象。
console = logging.StreamHandler()
console.setLevel(logging.INFO)
formatter = logging.Formatter('%(name)-12s: %(levelname)-8s %(message)s')
console.setFormatter(formatter)
logging.getLogger('').addHandler(console)

logging.debug('This is debug message')
logging.info('This is info message')
logging.warning('This is warning message')

  使用for循环执行3次处理,分别创建日志文件名称为mylog1.txt, mylog2.tx, mylog3.txt,并写入相同的内容。执行结果确实产生不同名称的文件,日志内容也正确写入。
  至此,已经实现动态变更输出文件日志名称的功能。至于按照日志输出文件名,只需要按照上述代码的思路,将创建logging.FileHandler()的文件名参数变更就能达成目的。

简单实现方案

  浏览官方文档logging.handlers一节内容,python考虑到日志的常规使用场景,已经封装更为简单的实现方案,TimedRotatingFileHandler,只需简单的配置,即可实现对输出日志文件的基本管理,灵活易用,代码如下:

import logging, logging.handlers
import time

'''
TimedRotatingFileHandler构造函数声明
class logging.handlers.TimedRotatingFileHandler(filename, when='h', interval=1, backupCount=0, encoding=None, delay=False, utc=False, atTime=None)
filename    日志文件名前缀
when        日志名变更时间单位
    'S' Seconds
    'M' Minutes
    'H' Hours
    'D' Days
    'W0'-'W6' Weekday (0=Monday)
    'midnight' Roll over at midnight
interval    间隔时间,是指等待N个when单位的时间后,自动重建文件
backupCount 保留日志最大文件数,超过限制,删除最先创建的文件;默认值0,表示不限制。
delay       延迟文件创建,直到第一次调用emit()方法创建日志文件
atTime      在指定的时间(datetime.time格式)创建日志文件。
'''

def test_TimedRotatingFileHandler():
    # 定义日志输出格式
    fmt_str = '%(asctime)s[level-%(levelname)s][%(name)s]:%(message)s'
    # 初始化
    logging.basicConfig()

    # 创建TimedRotatingFileHandler处理对象
    # 间隔5(S)创建新的名称为myLog%Y%m%d_%H%M%S.log的文件,并一直占用myLog文件。
    fileshandle = logging.handlers.TimedRotatingFileHandler('myLog', when='S', interval=5, backupCount=3)
    # 设置日志文件后缀,以当前时间作为日志文件后缀名。
    fileshandle.suffix = "%Y%m%d_%H%M%S.log"
    # 设置日志输出级别和格式
    fileshandle.setLevel(logging.DEBUG)
    formatter = logging.Formatter(fmt_str)
    fileshandle.setFormatter(formatter)
    # 添加到日志处理对象集合
    logging.getLogger('').addHandler(fileshandle)

if __name__ == '__main__':
    test_TimedRotatingFileHandler()

    # 测试在200s内创建文件多个日志文件
    for i in range(0, 100):
        logging.debug("logging.debug")
        logging.info("logging.info")
        logging.warning("logging.warning")
        logging.error("logging.error")


        time.sleep(2)

扩展链接

日志(logging)详细全面
TimedRotatingFileHandler封装类

版权声明:本文为博主原创文章,未经博主允许不得转载。

python 通过logging写入日志到文件和控制台

import logging # 创建一个logger logger = logging.getLogger('mylogger') logger.setLevel(logging.DE...
  • shjh369
  • shjh369
  • 2016年01月26日 10:14
  • 2154

python logging 替代print 输出内容到控制台和重定向到文件

在写程序的时候,尤其是大型的程序,在程序中加入日志系统是必不可少的,它能记录很多的信息。刚刚接触python的时候肯定都在用print来输出信息,这样是最简单的输出,正是因为这样,在调试的时候还要去逐...
  • z_johnny
  • z_johnny
  • 2016年02月25日 21:07
  • 7591

python改变日志(logging)存放位置实例

通过传入日志文件参数的方式来改变日志的存放位置。 使用python实现的简单版本的logging.config,支持一般的通过config文件进行配置。 感觉还有更好的方法,是直接利用logg...
  • vip_linux
  • vip_linux
  • 2014年07月07日 21:32
  • 2114

python 动态增加logger handler

需求: 针对不同的项目按照年月生成不同的日志目录。 import os,datetime,logging,logging.config from core.config.config_log im...
  • kelindame
  • kelindame
  • 2017年04月25日 22:19
  • 441

Python模块之Logging(五)——在配置文件中为Logger配置多个handler

使用样例读取配置文件:logging.config.fileConfig("log.conf") # 采用配置文件 创建logger:logger = logging.getLogger("...
  • yypsober
  • yypsober
  • 2016年06月29日 13:03
  • 2358

python遍历一个目录,输出所有的文件名

python 获取一个文件夹内(包括子文件夹)所有文件的名字和路径import os dir = "e:\\" for root, dirs, files in os.walk(dir): f...
  • Thinking_boy1992
  • Thinking_boy1992
  • 2017年04月19日 14:00
  • 1567

python中用logging实现日志滚动和过期日志删除

之前听说python的logging库很好用,自带滚动和过期删除的功能,今天捣鼓了一下,并将自己捣鼓的过程记录下来。...
  • ashi198866
  • ashi198866
  • 2015年07月02日 14:06
  • 8810

Python 定时提取实时日志的程序

这是一个定时读取 实时日志文件的程序 。 目标文件是target_file. 它是应用程序实时写入的。 我要做的是,每个5秒钟,提取一次该日志文件中的内容,然后生成另一个文件。最后把这些文件都汇总。...
  • u012063703
  • u012063703
  • 2015年05月26日 14:09
  • 4076

python动态监控日志内容

使用Python动态监控程序日志的内容,这里的动态指的是日志文件不断的追加新的日志内容,动态监控是指监控日志新追加的日志内容。 日志文件一般是按天产生,则通过在程序中判断文件的产生日期与当前时间...
  • vip_linux
  • vip_linux
  • 2014年07月07日 21:29
  • 2257

Python中logging.config配置文件解读

Python中logging.config配置文件解读 下面的函数用于配置logging模块,它们位于logging.config模块中。你可以使用这些函数来配置,也可以在logging或是...
  • tao_627
  • tao_627
  • 2015年07月03日 18:06
  • 6210
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:python logging动态变更输出日志文件名
举报原因:
原因补充:

(最多只允许输入30个字)