logging | 项目开发中日志模块logging在整个工程中的应用

日志介绍

一个合格的程序，日志是必须要输出的。 我们借助Python的logging库，来完成日志输出。先编写基础的日志模块代码，可供业务逻辑代码使用。

所说的日志就是程序在运行时，程序当前处于什么状态，通过对外输出信息来确定。对外输出的这个信息，就是程序的运行日志。`

• 级别

CRITICAL =50
FATAL= CRITICAL
ERROR= 40
WARNING =30
WARN= WARNING
INFO= 20
DEBUG=10
NOTSET =0

1. logging使用场景

# 注意使用场景   每个类型的级别不同 
logging.debug('debug 日志输出')  # 罗嗦模式
logging.info("info日志输出")     # 代码关键点输出
logging.warning("warning日志输出")  # 可能出问题地方 警告输出
logging.error("error日志输出")      # 出问题
logging.fatal("fatal中志输出")  # 致命的  程序无法执行时

默认是warnging级别以上的输出信息

设置级别

import logging

logging.getLogger().setLevel(10) # 只会输出 大于等于该数值的 logging

# 注意使用场景
logging.debug('debug 日志输出')  # 罗嗦模式
logging.info("info日志输出")     # 代码关键点输出
logging.warning("warning日志输出")  # 可能出问题地方 警告输出
logging.error("error日志输出")      # 出问题
logging.fatal("fatal中志输出")  # 致命的  程序无法执行时

默认的warning级别是30,当设置为10的时候，所有的日志都可以看到 方便我们开发时使用
设置为30 则有些日志 不需要让用看到 产品简介 同时关键信息 是让开发人员获取

2. 实际logging使用 - 学习版

• Pycharm目录结构
  

2.1 终端输出StreamHandler

核心理解:

0. 导入模块 (自己的文件名不要和内置模块名称重名,否则内置模块无法使用)
1. 日志管理对象: 负责日志的收集工作
2. 日志处理器: 负责日志的输出形式管理(终端/文件) 日志格式: 负责日志的输出格式管理
3. 日志格式:

'%(asctime)s - [%(levelname)s] - %(filename)s[%(lineno)d]：%(message)s'

• 设置logger对象 假设是logger.py

# 导包
import logging

##################### 日志器对象的创建和配置 #####################
# 1. 日志器对象的创建
logger = logging.getLogger()

# 2. 日志处理器的创建  输出到终端
stream_handler = logging.StreamHandler()

# 3. 将日志处理器绑定到日志器对象上
logger.addHandler(stream_handler)

# TODO: 4. 创建一个格式对象
fmt = logging.Formatter('%(asctime)s - [%(levelname)s] - %(filename)s[%(lineno)d]：%(message)s')

# TODO: 5. 将日志格式对象绑定到日志处理器上
stream_handler.setFormatter(fmt)

• 在模块文件中引入 mycode.py

 ######################### 日志的输出 #######################
 # 1. 设置日志输出级别
 logger.setLevel(logging.INFO)  # INFO级别以上的输出
 # 2. 输出不同级别的日志信息
 logger.debug('这是一个debug级别的日志信息')
 logger.info('这是一个info级别的日志信息')
 logger.warning('这是一个warning级别的日志信息')
 logger.error('这是一个error级别的日志信息')
 logger.critical('这是一个critical级别的日志信息')

2.2 日志文件中输出FileHandler

• logger.py 输出到文件

# 导入logging模块
import logging

#################### 日志器对象的创建和配置 ####################
# 1. 日志器对象的创建
logger = logging.getLogger()

# TODO: 2. 创建换一个文件类型的日志处理器
# 注意: filename要传入一个log文件的路径,可以使用绝对路径也可以使用相对路径,但是文件目录一定要存在,文件可以不存在
# 举例: ../logs/test.log 路径中 logs目录必须存在, test.log可以不存在
file_handler = logging.FileHandler(
    filename='../logs/test.log',
    mode='a',
    encoding='utf8'
)
# 3. 将日志处理器绑定到日志器对象上
logger.addHandler(file_handler)
# 4. 创建一个格式对象
fmt = logging.Formatter('%(asctime)s - [%(levelname)s] - %(filename)s[%(lineno)d]：%(message)s')
# 5. 将日志格式对象绑定到日志处理器上
file_handler.setFormatter(fmt)

• mycode.py

######################### 日志的输出 #######################
# 1. 设置日志输出级别
logger.setLevel(logging.INFO)
# 2. 输出不同级别的日志信息
logger.debug('这是一个debug级别的日志信息')
logger.info('这是一个info级别的日志信息')
logger.warning('这是一个warning级别的日志信息')
logger.error('这是一个error级别的日志信息')
logger.critical('这是一个critical级别的日志信息')

提前创建好该文件filename=‘…/logs/test.log’

2.3 同时写入终端和文件

file_handler logging.FileHandler('../logs/test.log')
file_handler1 =logging.FileHandler('../logs/test.log')
stream_handler logging.StreamHandler()

fmt = logging.Formatter('%(asctime)s - [%(levelname)s] - %(filename)s[%(lineno)d]：%(message)s')


file_handler.setFormatter(fmt)
file_handler1.setFormatter(fmt)
stream_handler.setFormatter(fmt)

2.4 .Formatter参数语句

‘%(asctime)s - [%(levelname)s] - %(filename)s[%(lineno)d]：%(message)s’

3. 封装logging模块 - 实战版 ⭐

3.1 配置config文件夹下project_config.py文件

测试和发布的时候通过更改配置文件可以更快的帮助我们提高效率

我们的需求是每个整点生成log日志文件，因此要结合time模块

import time

log_root_path = 'E:\\pythonProject\\pythonetl\\logs\\'
log_filename = f'pytel-{time.strftime("%Y%m%d-%H",time.localtime())}.log'
# print(log_filename)   pytel-20240902-16.logs

level = 10

time模块

import time

print(time.time())   # 距离1970年过了多少秒 （以秒为单位）
print(time.localtime()) #  time.struct_time(tm_year=2024, tm_mon=9, tm_mday=2, tm_hour=16, tm_min=10, tm_sec=57, tm_wday=0, tm_yday=246, tm_isdst=0)

print(time.strftime("%Y %m %d",time.localtime())) # 2024 09 02
print(time.strptime("2022-10-20 16:18:30","%Y-%m-%d %H:%M:%S"))

'''
常见的时间格式化的格式：
%Y:4位数字的年份：2024
%m:2位数字的月份：09
%d:2位数字的日期：02
%H:24小时制的小时
%M:2位数字的分钟
%S:2位数字的秒
如果要格式化为：2022-05-1510:05:55
'''

3.2 封装util文件夹下logging_until.py文件

这里不仅在终端进行了输出日志信息，同时在文件中保存了日志信息

import logging
import os

from config.project_config import log_root_path,log_filename,level
class Logging():
    def __init__(self,level=20):
        self.logger = logging.getLogger()
        self.logger.setLevel(level)


def init_logger():
    logger = Logging(level).logger

    # 缓存机制 避免日志重复输出  ⭐⭐
    if logger.handlers:
        return logger

    path = log_root_path+log_filename
    # 创建并打开文件
    with open(path, 'w') as file:
        # 文件被创建，但这里不写入任何内容，所以它是空的
        pass
    # 构造handler
    # 优化日志存储文件 StreamHandler
    stream_handler = logging.StreamHandler()
    file_handler = logging.FileHandler(
        filename=path,
        mode='a',
        encoding='utf-8'
    )

    fmt = logging.Formatter('%(asctime)s - [%(levelname)s] - %(filename)s[%(lineno)d]：%(message)s')

    stream_handler.setFormatter(fmt)
    file_handler.setFormatter(fmt)

    # 组合
    logger.addHandler(stream_handler)
    logger.addHandler(file_handler)

    return logger

3.3 其他模块下的mycode文件

• 测试1

from util.logging_util import init_logger

logger = init_logger()
logger.info('This is a test!!')
logger.info('This is aaaaaaaaaaaaaaaaa test!!')

• 测试2

from util.logging_util import init_logger

logger = init_logger()
logger.info('This is a test!!')
logger.info('This is aaaaaaaaaaaaaaaaa test!!')
logger.info('This is bbbbbbbbbbbbbbbbbbb test!!')

注意事项

若是在模块中这样运行代码

from util.logging_util import init_logger

#错误用法

#是因为python的缓存机制，第一次调用init_logger函数
#这时会添加filehandler streamhandle
init_logger().info("测试info1")
#第二次调用时，因为履存了rootlogger,所以再次会添加filehandler streamhandler
init_logger().info("测试info2")
#第三次就变成了三个hand1er
init_logger().info("测试info3")

解决

在logging_until.py的init_logger()中加入是否存在句柄的语句

def init_logger():
    logger = Logging(level).logger

    # 缓存机制 避免日志重复输出
    if logger.handlers:
        return logger
...