django日志配置
1.普通配置
BASE_DIR = os.path.dirname(os.path.dirname(os.path.abspath(__file__)))
log_path = os.path.join(BASE_DIR, 'log')
if not os.path.exists(log_path): os.mkdir(log_path)
LOGGING = {
'version': 1,
'disable_existing_logging': False,
# 日志格式
'formatters': {
'verbose': {
'format': '%(levelname)s %(asctime)s %(module)s %(lineno)d %(message)s'
},
'simple': {
'format': '%(levelname)s %(module)s %(lineno)d %(message)s'
},
},
# 过滤
'filters': {
'require_debug_true': {
'()': 'django.utils.log.RequireDebugTrue'
},
},
# 定义具体日志处理方式
'handlers': {
# 控制台输出
'console': {
'level': 'DEBUG',
'filters': ['require_debug_true'],
'class': 'logging.StreamHandler',
'formatter': 'simple'
},
# 文件输出
'file': {
'level': 'DEBUG',
'class': 'logging.handlers.RotatingFileHandler',
'filename': os.path.join(os.path.join(BASE_DIR, 'log'), 'log.log'),
'when': 'MIDNIGHT',
'interval': 1,
# 最多储存文件个数,超过90个则重头开始覆盖第一个文件
'backupCount': 90,
'formatter': 'verbose',
'encoding': 'utf-8'
},
},
# 配置handlers处理日志
'loggers': {
'django': {
'handlers': ['file', "console"],
'level': 'INFO',
'propagate': True,
},
},
}
# 启动:windows 启动命令 python manage.py runserver --noreload
日志使用
import logging
logger = logging.getLogger("django")
logger.info("info")
logger.error("error")
2.多线程配置
问题:多线程情况下,日志的切割会出现问题:1、日志写入错乱;2、日志没有按天分割
分析:
1、按上述配置日志时切割流程
0点时,判断log.log.xxxx-xx-xx(当前天前一天日期)是否存在。
如果存在,则删除;如果不存在,将当前log.log文件重命名为log.log.xxxx-xx-xx(当前天前一天日期)文件。
重新生成log.log文件,并将logger句柄指向新的log.log文件
2、多线程情况下日志切割流程
0点时,A进程判断log.log.xxxx-xx-xx(当前天前一天日期)是否存在。
假设不存在,A进程将当前log.log文件重命名为log.log.xxxx-xx-xx(当前天前一天日期)文件。
重新生成log.log文件,并将A进程logger句柄指向新的log.log文件。
如果在此期间B进程向log.log文件写入,由于写入流已经打开,B进程句柄会指向log.log文件,
由于A进程重命名操作,此时B进程句柄会指向log.log.xxxx-xx-xx(当前天前一天日期)并继续写入。
当写入完成后B进程执行切割操作,判断log.log.xxxx-xx-xx(当前天前一天日期)是否存在。
由于A进程已经创建了该文件,因此B进程会删除该文件,并将A进程新建的log.log文件重命名为log.log.xxxx-xx-xx(当前天前一天日期),此时会造成日志缺失问题。
并且此时A进程的句柄在log.log.xxxx-xx-xx(当前天前一天日期)文件中,后续A进程继续写入,则会出现日志错乱问题。
解决方案:从上诉分析中可以得出,造成日志切割错乱的问题在于两点:1、删除文件 2、句柄更新
针对这两点可以做的方案有:1、去除删除文件的逻辑 2、在切割文件时及时将句柄更新到最新
class TimedRotatingFileHandler(BaseRotatingHandler):
def __init__(self, filename, when='h', interval=1, backupCount=0, encoding=None, delay=False, utc=False, atTime=None):
BaseRotatingHandler.__init__(self, filename, 'a', encoding, delay)
self.when = when.upper()
self.backupCount = backupCount
self