python Flask logging日志报错“另一个程序正在使用此文件，进程无法访问”

1. 问题

python Flask logging日志报错“另一个程序正在使用此文件，进程无法访问”

2. 代码示例

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Author:   craftsman

import os
import datetime
import decimal
import logging
from logging.handlers import TimedRotatingFileHandler
import redis
import json
from flask import Flask, request, make_response, current_app, g
from flask import render_template
from flask import jsonify
from flask import send_from_directory
from flask_sqlalchemy import SQLAlchemy
import flask.json
from config import sql_db_config

BASE_DIR = os.path.dirname(os.path.abspath(__file__))
LOG_PATH = os.path.join(BASE_DIR, 'logs')
app = Flask(__name__)
# 配置日志信息
# 设置日志的记录等级
logging.basicConfig(level=logging.INFO)
# 创建日志记录器，指明日志保存的路径、每个日志文件的最大大小、保存的日志文件个数上限
file_log_handler = TimedRotatingFileHandler(filename=os.path.join(LOG_PATH, 'info.log'),
                                            when='midnight', backupCount=31, interval=1, encoding='utf-8')
# 创建日志记录的格式                 日志等级    输入日志信息的文件名 行数    日志信息
formatter = logging.Formatter('[%(levelname)s %(filename)s:%(lineno)d]: %(message)s')
# 为刚创建的日志记录器设置日志记录格式
file_log_handler.setFormatter(formatter)
# 为全局的日志工具对象（flask app使用的）添加日记录器
logging.getLogger().addHandler(file_log_handler)
app.logger.addHandler(file_log_handler)

3. 原因

当在Flask中使用RotatingFileHandler或TimeRotatingFileHandler的时候，即备份日志文件的时候，出现这种情况，是由于多进程情况下，对同一个日志文件一边重命名一边写入发生了冲突

4. 解决

最初使用普通的logging，后来遇到了将日志分片的需求，用到TimedRotatingFileHandler，将日志按时间分片，再后面使用到了多进程，发现正在使用的TimedRotatingFileHandler并不是进程安全的，日志的准确性无法保证，所以改用进程安全的concurrent-log-handler。

• 日志轮转：根据时间或者文件大小控制日志的文件个数，不用我们手动管理
• python中logging模块内置的有几个支持日志轮转的handler , 常用的有TimedRotatingFileHandler根据时间轮转; RotatingFileHandler根据文件大小轮转
• 但是内置的这些handler是多线程安全的，而不支持多进程（可以修改源码加锁保证进程安全）
• 多进程的时候可以使用concurrent-log-handler（需要自行安装）按照文件大小轮转, concurrent-log-handler不能将日志根据时间分片

pip install concurrent-log-handler
根据文件大小轮转

根据时间片轮转请参考：
https://blog.csdn.net/craftsman2020/article/details/113745255

附录：
详细请参考：https://github.com/Preston-Landers/concurrent-log-handler

其他相关文章：
python-Logging之进程安全的ConcurrentLogHandler

https://www.cnblogs.com/restran/p/4743840.html

https://www.restran.net/2015/08/19/python-concurrent-logging/

http://www.itboth.com/d/EjqYZv/python-logging

https://blog.csdn.net/qq_25730711/article/details/53393190?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-3.control&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-3.control

https://blog.csdn.net/wkb342814892/article/details/80281182

python:多进程日志轮转ConcurrentLogHandler
https://blog.csdn.net/qq_41864652/article/details/81317908

加星
点关注
谢谢