python logging 日志名称以及切割处理

最新推荐文章于 2023-12-22 16:22:36 发布
最新推荐文章于 2023-12-22 16:22:36 发布
阅读量927 收藏
点赞数 1
分类专栏： 开发
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zf3419/article/details/112374778
版权

日志名称自定义

按照日期切割日志：

默认生成的日志文件格式是你的文件名+时间的格式，没有设置时间的话默认设置到了秒(这里是按秒切割)

import logging
from logging.handlers import TimedRotatingFileHandler 
from logging.handlers import RotatingFileHandler
import os
import sys
from datetime import datetime, timedelta
import time
import glob

# timed日志初始化
def timed_init_log(log_path="", log_file_name="log_test"):
    # 创建日志文件文件夹
    if not os.path.exists(log_path):
        os.makedirs(log_path)

    # 设置默认级别
    logging.getLogger('').setLevel(logging.INFO)
    # 设置标准输出显示
    console = logging.StreamHandler(sys.stdout)
    formatter = logging.Formatter('%(levelname)s %(asctime)s %(thread)d %(filename)s[line:%(lineno)d]: '
                                  '%(message)s')
    console.setFormatter(formatter)
    logging.getLogger('').addHandler(console)
    # 设置回滚文件
    log_file_name_ = "{}{}.log".format(log_file_name, "")
    rotating_file = TimedRotatingFileHandler(os.path.join(log_path, log_file_name_), when='S', interval=1, backupCount=3)

    rotating_file.setFormatter(formatter)
    logging.getLogger('').addHandler(rotating_file)

![image.png](https://img-blog.csdnimg.cn/img_convert/e56f788b171488051ea63d95717c4c1a.png#align=left&display=inline&height=66&margin=[object Object]&name=image.png&originHeight=66&originWidth=778&size=13907&status=done&style=none&width=778)

修改日志格式后缀名称：

    def namer(filename):
        dir_name, base_name  = os.path.split(filename)
        base_name = base_name.replace(log_file_name_+'.', log_file_name)
        rotation_filename = os.path.join(dir_name, base_name)
        return rotation_filename

    rotating_file.namer = namer
    rotating_file.suffix = "_%Y-%m-%d_%H-%M-%S.log"

![image.png](https://img-blog.csdnimg.cn/img_convert/b59673f04ae06d5112c66cc4491d0435.png#align=left&display=inline&height=180&margin=[object Object]&name=image.png&originHeight=180&originWidth=780&size=37087&status=done&style=none&width=780)

日志没有起到自动删除的目的
源码：

    def getFilesToDelete(self):
        """
        Determine the files to delete when rolling over.

        More specific than the earlier method, which just used glob.glob().
        """
        dirName, baseName = os.path.split(self.baseFilename)
        fileNames = os.listdir(dirName)
        result = []
        prefix = baseName + "."
        plen = len(prefix)
        for fileName in fileNames:
            if fileName[:plen] == prefix:
                suffix = fileName[plen:]
                if self.extMatch.match(suffix):
                    result.append(os.path.join(dirName, fileName))
        if len(result) < self.backupCount:
            result = []
        else:
            result.sort()
            result = result[:len(result) - self.backupCount]
        return result

这是它的删除逻辑，关键是通过.前面的字段判断是否重复，当有特定的重复数后开始删除。
修改源码：

import logging
from logging.handlers import TimedRotatingFileHandler as OriginTimedRotatingFileHandler
from logging.handlers import RotatingFileHandler as OriginRotatingFileHandler
import os
import sys
from datetime import datetime, timedelta
import time
import glob
env = os.environ.get('env') or 'test'
print(env)

class TimedRotatingFileHandler(OriginTimedRotatingFileHandler):
    def getFilesToDelete(self):
        """
        Determine the files to delete when rolling over.

        More specific than the earlier method, which just used glob.glob().
        """
        dirName, baseName = os.path.split(self.baseFilename)
        fileNames = os.listdir(dirName)
        result = []
        prefix = baseName.replace(".log", self.suffix.split("%")[0])
        plen = len(prefix)
        for fileName in fileNames:
            if fileName[:plen] == prefix:
                suffix = fileName[plen:]
                if self.extMatch.match(suffix):
                    result.append(os.path.join(dirName, fileName))
        if len(result) < self.backupCount:
            result = []
        else:
            result.sort()
            result = result[:len(result) - self.backupCount]
        return result

# timed日志初始化
def timed_init_log(log_path="", log_file_name="log_test"):
    # 创建日志文件文件夹
    if not os.path.exists(log_path):
        os.makedirs(log_path)

    # 设置默认级别
    logging.getLogger('').setLevel(logging.INFO)
    # 设置标准输出显示
    console = logging.StreamHandler(sys.stdout)
    formatter = logging.Formatter('%(levelname)s %(asctime)s %(thread)d %(filename)s[line:%(lineno)d]: '
                                  '%(message)s')
    console.setFormatter(formatter)
    logging.getLogger('').addHandler(console)
    # 设置回滚文件
    log_file_name_ = "{}{}.log".format(log_file_name, "")
    rotating_file = TimedRotatingFileHandler(os.path.join(log_path, log_file_name_), when='S', interval=1, backupCount=3)
    def namer(filename):
        dir_name, base_name  = os.path.split(filename)
        base_name = base_name.replace(log_file_name_+'.', log_file_name)
        rotation_filename = os.path.join(dir_name, base_name)
        return rotation_filename

    rotating_file.namer = namer
    rotating_file.suffix = "_%Y-%m-%d_%H-%M-%S.log"

    rotating_file.setFormatter(formatter)
    logging.getLogger('').addHandler(rotating_file)

timed_init_log("./time_logs", "log_{}".format(env))
i = 0
while True:
    logging.info("sdiogbdfnog{}".format(i))
    time.sleep(1)
    i += 1

![image.png](https://img-blog.csdnimg.cn/img_convert/2a1b0590df07a328068921e0a2deee3a.png#align=left&display=inline&height=82&margin=[object Object]&name=image.png&originHeight=82&originWidth=780&size=15845&status=done&style=none&width=780)

按照大小切割日志：

import logging
from logging.handlers import TimedRotatingFileHandler as OriginTimedRotatingFileHandler
from logging.handlers import RotatingFileHandler as OriginRotatingFileHandler
import os
import sys
from datetime import datetime, timedelta
import time
import glob
env = os.environ.get('env') or 'test'


class RotatingFileHandler(OriginRotatingFileHandler):
    def doRollover(self):
        """
        Do a rollover, as described in __init__().
        """
        if self.stream:
            self.stream.close()
            self.stream = None

        dirName, baseName = os.path.split(self.baseFilename)
        baseName = baseName.replace(".log", "")
        if self.backupCount > 0:
            for i in range(self.backupCount - 1, 0, -1):
                dfn = self.rotation_filename("%s.%d" % (self.baseFilename, i + 1))

                sfn_ = glob.glob("{}/{}*".format(dirName,"{}{}{}".format(baseName, self.suffix, i)))
                dfn_ = glob.glob("{}/{}*".format(dirName,"{}{}{}".format(baseName, self.suffix, i+1)))

                if len(sfn_) > 0:
                    if len(dfn_) >0:
                        os.remove(dfn_[0])
                    os.rename(sfn_[0], dfn)

            dfn = self.rotation_filename(self.baseFilename + ".1")
            dfn_ = glob.glob("{}/{}*".format(dirName,"{}{}{}".format(baseName, self.suffix, 1)))
            if len(dfn_):
                os.remove(dfn_[0])
            self.rotate(self.baseFilename, dfn)

        if not self.delay:
            self.stream = self._open()


# rota日志初始化
def rota_init_log(log_path="", log_file_name="log_test"):
    # 创建日志文件文件夹
    if not os.path.exists(log_path):
        os.makedirs(log_path)

    # 设置默认级别
    logging.getLogger('').setLevel(logging.INFO)
    # 设置标准输出显示
    console = logging.StreamHandler(sys.stdout)
    formatter = logging.Formatter('%(levelname)s %(asctime)s %(thread)d %(filename)s[line:%(lineno)d]: '
                                  '%(message)s')
    console.setFormatter(formatter)
    logging.getLogger('').addHandler(console)
    # 设置回滚文件
    log_file_name_ = "{}{}.log".format(log_file_name, "")

    rotating_file = RotatingFileHandler(os.path.join(log_path, log_file_name_),  maxBytes=20*1024*1024, backupCount=3)

    rotating_file.setFormatter(formatter)
    logging.getLogger('').addHandler(rotating_file)



rota_init_log("./rota_logs", "log_{}".format(env))
i = 0
while True:
    logging.info("sdiogbdfnog{}".format(i))
    time.sleep(1)
    i += 1

![image.png](https://img-blog.csdnimg.cn/img_convert/ac5357ac49c72dbac0689e4da1b0f076.png#align=left&display=inline&height=72&margin=[object Object]&name=image.png&originHeight=72&originWidth=780&size=15073&status=done&style=none&width=780)

  • 汇总：
import logging
from logging.handlers import TimedRotatingFileHandler as OriginTimedRotatingFileHandler
from logging.handlers import RotatingFileHandler as OriginRotatingFileHandler
import os
import sys
from datetime import datetime, timedelta
import time
import glob
env = os.environ.get('env') or 'test'


class TimedRotatingFileHandler(OriginTimedRotatingFileHandler):
    def getFilesToDelete(self):
        """
        Determine the files to delete when rolling over.

        More specific than the earlier method, which just used glob.glob().
        """
        dirName, baseName = os.path.split(self.baseFilename)
        fileNames = os.listdir(dirName)
        result = []
        prefix = baseName.replace(".log", self.suffix.split("%")[0])
        plen = len(prefix)
        for fileName in fileNames:
            if fileName[:plen] == prefix:
                suffix = fileName[plen:]
                if self.extMatch.match(suffix):
                    result.append(os.path.join(dirName, fileName))
        if len(result) < self.backupCount:
            result = []
        else:
            result.sort()
            result = result[:len(result) - self.backupCount]
        return result


class RotatingFileHandler(OriginRotatingFileHandler):
    def doRollover(self):
        """
        Do a rollover, as described in __init__().
        """
        if self.stream:
            self.stream.close()
            self.stream = None

        dirName, baseName = os.path.split(self.baseFilename)
        baseName = baseName.replace(".log", "")
        if self.backupCount > 0:
            for i in range(self.backupCount - 1, 0, -1):
                dfn = self.rotation_filename("%s.%d" % (self.baseFilename, i + 1))

                sfn_ = glob.glob("{}/{}*".format(dirName,"{}{}{}".format(baseName, self.suffix, i)))
                dfn_ = glob.glob("{}/{}*".format(dirName,"{}{}{}".format(baseName, self.suffix, i+1)))

                if len(sfn_) > 0:
                    if len(dfn_) >0:
                        os.remove(dfn_[0])
                    os.rename(sfn_[0], dfn)

            dfn = self.rotation_filename(self.baseFilename + ".1")
            dfn_ = glob.glob("{}/{}*".format(dirName,"{}{}{}".format(baseName, self.suffix, 1)))
            if len(dfn_):
                os.remove(dfn_[0])
            self.rotate(self.baseFilename, dfn)

        if not self.delay:
            self.stream = self._open()


# rota日志初始化
def rota_init_log(log_path="", log_file_name="log_test"):
    # 创建日志文件文件夹
    if not os.path.exists(log_path):
        os.makedirs(log_path)

    # 设置默认级别
    logging.getLogger('').setLevel(logging.INFO)
    # 设置标准输出显示
    console = logging.StreamHandler(sys.stdout)
    formatter = logging.Formatter('%(levelname)s %(asctime)s %(thread)d %(filename)s[line:%(lineno)d]: '
                                  '%(message)s')
    console.setFormatter(formatter)
    logging.getLogger('').addHandler(console)
    # 设置回滚文件
    log_file_name_ = "{}{}.log".format(log_file_name, "")

    rotating_file = RotatingFileHandler(os.path.join(log_path, log_file_name_),  maxBytes=20*1024*1024, backupCount=3)

    def namer(filename):
        dir_name, base_name  = os.path.split(filename)
        base_name = "{}_{}.log".format(base_name.replace('.log.', "_"), datetime.now().strftime("%Y-%m-%d_%H-%M-%S"))
        rotation_filename = os.path.join(dir_name, base_name)
        return rotation_filename

    rotating_file.namer = namer
    rotating_file.suffix = "_"

    rotating_file.setFormatter(formatter)
    logging.getLogger('').addHandler(rotating_file)


# timed日志初始化
def timed_init_log(log_path="", log_file_name="log_test"):
    # 创建日志文件文件夹
    if not os.path.exists(log_path):
        os.makedirs(log_path)

    # 设置默认级别
    logging.getLogger('').setLevel(logging.INFO)
    # 设置标准输出显示
    console = logging.StreamHandler(sys.stdout)
    formatter = logging.Formatter('%(levelname)s %(asctime)s %(thread)d %(filename)s[line:%(lineno)d]: '
                                  '%(message)s')
    console.setFormatter(formatter)
    logging.getLogger('').addHandler(console)
    # 设置回滚文件
    log_file_name_ = "{}{}.log".format(log_file_name, "")
    rotating_file = TimedRotatingFileHandler(os.path.join(log_path, log_file_name_), when='S', interval=1, backupCount=3)

    def namer(filename):
        dir_name, base_name  = os.path.split(filename)
        base_name = base_name.replace(log_file_name_+'.', log_file_name)
        rotation_filename = os.path.join(dir_name, base_name)
        return rotation_filename

    rotating_file.namer = namer
    rotating_file.suffix = "_%Y-%m-%d_%H-%M-%S.log"

    rotating_file.setFormatter(formatter)
    logging.getLogger('').addHandler(rotating_file)


rota_init_log("./rota_logs", "log_{}".format(env))
timed_init_log("./time_logs", "log_{}".format(env))
i = 0
while True:
    logging.info("sdiogbdfnog{}".format(i))
    time.sleep(1)
    i += 1
tpof
关注
专栏目录
【python】内置模块-logging-记录日志
weixin_37008947的博客
10-20 406
文章目录相关概念支持的日志等级两种记录日志的方式logging模块级别的函数logging日志系统的四个组件Logger类handler类Formater类Filter类 官方文档：https://docs.python.org/3/library/logging.html 相关概念 支持的日志等级 日志等级 描述 DEBUG 最详细的日志信息，典型应用场景是 问题诊断 INFO 信息详细程度仅次于DEBUG，通常只记录关键节点信息，用于确认一切都是按照我们预期的那样进行工作 WAR
python 日志处理 logging模块 日志切分
Ximerr的博客
03-11 2996
为什么要切分日志？ 将日志信息输出到一个单一的文件中，随着应用程序的持续使用，该日志文件会越来越庞大，进而影响系统的性能。因此，有必要对日志文件按某种条件进行切分。切分日志使得日志更加可读且便于处理。 日志切割方法： 当一个日志文件达到触发条件后，对日志文件进行重命名，之后再新建原来名称的日志文件（此时就是空文件了），新产生的日志就写入新的日志文件。 分割日志的触发条件： 大小、日期，或者大小加上日期。 日志回滚： 当分割的日志文件达到指定数目的上限个数时，最老的日志文件就会被删除。日志回滚的
python3 logging日志切割
kamactor的专栏
06-16 2643
背景 平时创建的项目或者脚本，运行时间久了难免会产生一堆日志或者日志文件很大。不记录日志怕出问题无从排查，记录日志又担心浪费空间，因此项目开发的时候就应该重视日志管理。 下面介绍下使用python logging handlers模块管理日志的过程。 安装 python 自带模块，不用安装 logging模块自带的两种日志切割管理方法 RotatingFileHandler logging.handlers.RotatingFileHandler(filename, mode='a..
python logging模块书写日志以及日志分割详解
09-19
主要为大家详细介绍了python logging模块书写日志的方法，并对日志进行分割，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
python_logging日志模块按大小和时间分割方法
檬柠wan
10-12 1878
Python的logging模块是一个强大的日志记录工具，用于记录应用程序运行时的信息、警告和错误。
Python中logging日志记录到文件及自动分割的操作代码
09-16
### Python中logging日志记录到文件及自动分割 在软件开发过程中，日志记录是非常重要的一个环节，它能够帮助开发者追踪程序的运行状态、调试问题以及监控系统的性能表现。Python中提供了一个内置的日志模块——`...
python logging模块实现日期分割_python logging模块书写日志以及日志分割详解
weixin_39623620的博客
12-15 333
本文范例是书写两个日志：错误日志(ERROR级别)和运行日志(DEBUG级别)，其中运行日志每日凌晨进行分割import logging,datetime,logging.handlersfrom conf import settingsif __name__ == "__main__":#两个日志，错误日志和运行日志，输出文件路径及文件名error_log = settings.ERROR_LO...
快速实现Python多进程logging日志按天切割
dingdingv的博客
06-26 8279
        前几天填了一个前人留下的“日志”坑，程序日志只有程序重启才可以生成一个新日志文件，这样就会导致程序长时间运行之后，会生成一个巨大的日志文件，不方便后期问题查询或磁盘清理，所以日志按天切割势在必行。        ...
python多线程logger_python logging日志模块以及多进程日志
weixin_39965673的博客
12-18 871
本篇文章主要对 python logging 的介绍加深理解。更主要是 讨论在多进程环境下如何使用logging 来输出日志， 如何安全地切分日志文件。1. logging日志模块介绍python的logging模块提供了灵活的标准模块，使得任何Python程序都可以使用这个第三方模块来实现日志记录。python logging 官方文档logging框架中主要由四个部分组成：Loggers: 可...
logging切割日志
eli的博客
03-09 398
import logging from logging.handlers import TimedRotatingFileHandler log_file_name = "./hello.log" # log输出文件名称 formatter = logging.Formatter('%(asctime)s - %(levelname)s - %(message)s') # 定义日志输出格式（formatter） logger = logging.getLogger('mylogger') # 创建.
日志文件切割（大文件切成多个小文件）
03-14
该项目的功能是将一个大的文件切割成多个小文件，采用了主线程与子线程之间通信（MFC的PostMessage方法）
python logging日志分割_Python3测井曲线切割,python3logging,日志
weixin_35089891的博客
02-09 228
背景平时创建的项目或者脚本，运行时间久了难免会产生一堆日志或者日志文件很大。不记录日志怕出问题无从排查，记录日志又担心浪费空间，因此项目开发的时候就应该重视日志管理。下面介绍下使用python logging handlers模块管理日志的过程。安装python 自带模块，不用安装logging模块自带的两种日志切割管理方法RotatingFileHandlerlogging.handlers.R...
Python 使用logging模块，让日志文件按日期路径保存，按时间滚动切分
最新发布
qq_38086463的博客
12-22 1011
因为工作需要，要求写一个能够按日期路径保存，按时间滚动切分的日志方法。所以重写了logging模块中TimedRotatingFileHandler的doRollover方法（实际上只是改了改前人的代码）。
python logging模块书写日志，并对日志进行分割
java_raylu的博客
12-23 1667
范例是书写两个日志：错误日志（ERROR级别）和运行日志（DEBUG级别），其中运行日志每日凌晨进行分割 import logging,datetime,logging.handlers from conf import settings if __name__ == "__main__": #两个日志，错误日志和运行日志，输出文件路径及文件名 error_log = set...
【python】logging日志设置，日志文件过大自动切割文件
冰冷的希望的博客
04-27 3317
1.日志级别 python内置了logging模块，我们可以使用它记录自己的日志 日志级别：critical > error > warning > info > debug 当设置某个级别之后，把它低的不会被记录，例如级别设置为warning，则info和debug则会被丢弃 2.logging 如果记录要求不高不复杂，可以使用简单易用的logging import logging logging.basicConfig(level=logging.INFO, format='%
python日志内容存储到文件里_Python中如何实现将logging日志保存到文件中
weixin_39638012的博客
11-29 751
Python中如何实现将logging日志保存到文件中发布时间：2020-11-09 17:03:14来源：亿速云阅读：66今天就跟大家聊聊有关Python中如何实现将logging日志保存到文件中，可能很多人都不太了解，为了让大家更加了解，小编给大家总结了以下内容，希望大家根据这篇文章可以有所收获。日志作为项目开发和运行中必备组件，python提供了内置的logging模块来完成这个工作；借助 ...
用python实现日志文件，并且按时间命名文件名
xuguoqing___的博客
10-19 5608
用python实现日志文件，并且按时间命名文件名，话不多说，先上代码： uuid_str = time.strftime("%Y-%m-%d-%H_%M_%S",time.localtime()) tmp_file_name ='%s.txt' % uuid_str with open(tmp_file_name,'a') as f: f.write("{}\n\n".format(str(time.strftime("%Y-%m-%d %H:%M:%S ",time.localtime())))
Python 日志详解（logging）
鱼丸丶粗面
05-13 1645
Python 日志详解（logging）
logging日志按天分割
weixin_43209051的博客
12-03 3385
说我们没有为这个logger指定handler，它不知道要怎么处理日志，要输出到哪里去。那我们就给他加一个Handler吧，Handler的种类有很多，常用的有4种： logging.StreamHandler -> 控制台输出 logging.FileHandler -> 文件输出 logging.handlers.RotatingFileHandler -> 按照大小自动分割...
Python日志处理 logging详解及实战应用
4. **重要的类**：文档还提到了几个关键的类，如`Logger`（用于创建和管理日志记录）、`Handler`（处理日志事件的方式，如控制台输出或文件存储）、以及`Formatter`（定义日志条目的格式）。这些类共同构成了logging...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值