【第21期】观点:人工智能到底用 GPU?还是用 FPGA?

python logging动态变更输出日志文件名

原创 2015年11月21日 18:22:32

  python作为一门非常容易上手的脚本语言,日志输出更是简单,logging模块,简单的设置配置和属性,就能实现到控制台输出日志,在basicConfig()设置文件名,就能够将日志信息写入文件,简直是简单到不能再简单。
  最近在项目中就遇到一个日志问题,使用python编写的服务程序一直运行,连续处理一些任务,每个任务的关键信息都需要输出到文件中,便于维护人员查看,可是对于简单实用logging来说,日志写入文件非常简单,由于服务程序连续运行,一直向一个文件记录日志信息有些不妥,有常识的开发人员都知道,长时间的日志输出会导致日志文件过大,可是如何在服务运行时,修改日志的输出文件,以当天日期作为日志文件名。

代码编写环境:python3.4.3

1.logging.basicConfig()

首先,想到的是更改logging.basicConfig(filename=logfilename)参数,来实现变更日志文件名的目的。编写代码如下:

log_fmt = '%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s'
for i in range(1,4):
    filename = str.format('mylog%d.txt' % i)
    logging.basicConfig(format=log_fmt, level=logging.DEBUG, filename=filename)

    logging.debug('This is debug message')
    logging.info('This is info message')
    logging.warning('This is warning message')

  运行结果没有达到预期的效果,只有日志文件mylog1.txt被创建,mylog2.txt和mylog3.txt都未被创建,连续3次的输出的内容都写入mylog1.txt中。说明logging.basicConfig()设置属性具有全局性,第一次设置之后,之后再设置将不再生效。查看官方文档,也确实是如此。

logging.basicConfig(**kwargs)

Does basic configuration for the logging system by creating a StreamHandler with a default Formatter and adding it to the root logger. The functions debug(), info(), warning(), error() and critical() will call basicConfig() automatically if no handlers are defined for the root logger.

This function does nothing if the root logger already has handlers configured for it.

此路不通,只好用其他方法。

2.Handler对象

logging支持添加多个不同类型的handler对象,实现对控制台(logging.StreamHandler)、文件(logging.FileHandler)等不同目标输出日志。

logging支持的日志详情见文档logging.handlers

通过增加多个handler对象,可是实现同时在控制台、文件同时输出不同级别的日志信息。

# 默认配置logging写入本地文件
logging.basicConfig(level=logging.DEBUG,
            format='%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s',
            datefmt='%a, %d %b %Y %H:%M:%S',
            filename='myapp2.log',
            filemode='w')

#定义一个StreamHandler,将INFO级别或更高的日志信息打印到标准错误,并将其添加到当前的日志处理对象。
console = logging.StreamHandler()
console.setLevel(logging.INFO)
formatter = logging.Formatter('%(name)-12s: %(levelname)-8s %(message)s')
console.setFormatter(formatter)
logging.getLogger('').addHandler(console)

logging.debug('This is debug message')
logging.info('This is info message')
logging.warning('This is warning message')

  考虑实现简单又能说明效果,写入文件使用logging.basicConfig()设置,并添加输出指向控制台的流处理(StreamHandler)对象console,实现同时输出日志。当然也可以反过来,默认设置控制台输出日志,之后创建文件对象(logging.FileHandler),并加入处理集合,实现同样的效果。

logging.getLogger('')获取的是名为’root’的默认根节点

  同时,logging提供addHandler()的方法,自然也会有管理handler的方法。

  延伸之前Handler的思路,我们可以实现对handler的动态管理,变更日志文件。每次需要变更输出文件路径前,使用handler管理清空原先的logging.FileHandler对象,重新创建一个新文件名的logging.FileHandler对象即可。

# 默认配置logging写入本地文件
logging.basicConfig(level=logging.DEBUG,
            format='%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s',
            datefmt='%a, %d %b %Y %H:%M:%S',
            filename='myapp2.log',
            filemode='w')

#定义一个StreamHandler,将INFO级别或更高的日志信息打印到标准错误,并将其添加到当前的日志处理对象。
console = logging.StreamHandler()
console.setLevel(logging.INFO)
formatter = logging.Formatter('%(name)-12s: %(levelname)-8s %(message)s')
console.setFormatter(formatter)
logging.getLogger('').addHandler(console)

logging.debug('This is debug message')
logging.info('This is info message')
logging.warning('This is warning message')

  使用for循环执行3次处理,分别创建日志文件名称为mylog1.txt, mylog2.tx, mylog3.txt,并写入相同的内容。执行结果确实产生不同名称的文件,日志内容也正确写入。
  至此,已经实现动态变更输出文件日志名称的功能。至于按照日志输出文件名,只需要按照上述代码的思路,将创建logging.FileHandler()的文件名参数变更就能达成目的。

简单实现方案

  浏览官方文档logging.handlers一节内容,python考虑到日志的常规使用场景,已经封装更为简单的实现方案,TimedRotatingFileHandler,只需简单的配置,即可实现对输出日志文件的基本管理,灵活易用,代码如下:

import logging, logging.handlers
import time

'''
TimedRotatingFileHandler构造函数声明
class logging.handlers.TimedRotatingFileHandler(filename, when='h', interval=1, backupCount=0, encoding=None, delay=False, utc=False, atTime=None)
filename    日志文件名前缀
when        日志名变更时间单位
    'S' Seconds
    'M' Minutes
    'H' Hours
    'D' Days
    'W0'-'W6' Weekday (0=Monday)
    'midnight' Roll over at midnight
interval    间隔时间,是指等待N个when单位的时间后,自动重建文件
backupCount 保留日志最大文件数,超过限制,删除最先创建的文件;默认值0,表示不限制。
delay       延迟文件创建,直到第一次调用emit()方法创建日志文件
atTime      在指定的时间(datetime.time格式)创建日志文件。
'''

def test_TimedRotatingFileHandler():
    # 定义日志输出格式
    fmt_str = '%(asctime)s[level-%(levelname)s][%(name)s]:%(message)s'
    # 初始化
    logging.basicConfig()

    # 创建TimedRotatingFileHandler处理对象
    # 间隔5(S)创建新的名称为myLog%Y%m%d_%H%M%S.log的文件,并一直占用myLog文件。
    fileshandle = logging.handlers.TimedRotatingFileHandler('myLog', when='S', interval=5, backupCount=3)
    # 设置日志文件后缀,以当前时间作为日志文件后缀名。
    fileshandle.suffix = "%Y%m%d_%H%M%S.log"
    # 设置日志输出级别和格式
    fileshandle.setLevel(logging.DEBUG)
    formatter = logging.Formatter(fmt_str)
    fileshandle.setFormatter(formatter)
    # 添加到日志处理对象集合
    logging.getLogger('').addHandler(fileshandle)

if __name__ == '__main__':
    test_TimedRotatingFileHandler()

    # 测试在200s内创建文件多个日志文件
    for i in range(0, 100):
        logging.debug("logging.debug")
        logging.info("logging.info")
        logging.warning("logging.warning")
        logging.error("logging.error")


        time.sleep(2)

扩展链接

日志(logging)详细全面
TimedRotatingFileHandler封装类

版权声明:本文为博主原创文章,未经博主允许不得转载。 举报

相关文章推荐

Python日志输出——logging模块

1. logging介绍         Python的logging模块提供了通用的日志系统,可以方便第三方模块或者是应用使用。这个模块提供不同的日志级别,并可以采用不同的方式记录日志,比如文件,H...

python日志输出—logging配置文件

一、logging直接写在代码中       >>>http://blog.csdn.net/naiveloafer/article/details/7630673 二、通过配置文件来配置输出...

Python中logging.config配置文件解读

Python中logging.config配置文件解读 下面的函数用于配置logging模块,它们位于logging.config模块中。你可以使用这些函数来配置,也可以在logging或是...

Python 模块之Logging(四)——常用handlers的使用

一、StreamHandler流handler——包含在logging模块中的三个handler之一。能够将日志信息输出到sys.stdout, sys.stderr 或者类文件对象(更确切点,就是能...

将不同级别的logging 日志信息写入不同文件

1、编写python测试脚本 #!/usr/bin/env python import logging import logging.config logging.config.fileConfi...

python 通过logging写入日志到文件和控制台

import logging # 创建一个logger logger = logging.getLogger('mylogger') logger.setLevel(logging.DE...

python 的日志logging模块学习

1.可以直接在脚本中显示,不过意义不大: import logging logging.debug(''This message should go to the log file') loggin...
  • yatere
  • yatere
  • 2011-08-02 23:51
  • 18256

Python Logging

简单的一个Python Log类,以便以后再使用 ''' Created on 2013-1-10 @author: wangyangjun ''' import logging import ...

python logging 日志输出 学习笔记 时间格式化

1.logging介绍         Logging是python自带的模块,这个模块支持输出不同级别的日志,可以输出到控制台和写入文件,支持TCP、HTTP、GET/POST、SMTP、Soc...

python logging 日志详细配置

转载自伯乐在线 http://python.jobbole.com/81666/ 谢谢这位大哥的详细翻译在现实生活中,记录日志非常重要。银行转账时会有转账记录;飞机飞行过程中,会有黑盒子(飞行数据记...
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)