python日志器模块之logging

python日志器模块之logging

---

1. logging日志的介绍

在现实生活中，记录日志非常重要，比如:银行转账时会有转账记录；飞机飞行过程中，会有个黑盒子（飞行数据记录器）记录着飞机的飞行过程，那在咱们python程序中想要记录程序在运行时所产生的日志信息，怎么做呢?

可以使用 logging 这个包来完成

记录程序日志信息的目的是:

• 可以很方便的了解程序的运行情况
• 可以分析用户的操作行为、喜好等信息
• 方便开发人员检查bug

2. logging日志级别介绍

日志等级可以分为5个，从低到高分别是:

DEBUG
INFO
WARNING
ERROR
CRITICAL
日志等级说明:

• DEBUG：程序调试bug时使用
• INFO：程序正常运行时使用
• WARNING：程序未按预期运行时使用，但并不是错误，如:用户登录密码错误
• ERROR：程序出错误时使用，如:IO操作失败
• CRITICAL：特别严重的问题，导致程序不能再继续运行时使用，如:磁盘空间为空，一般很少使用
• 默认的是WARNING等级，当在WARNING或WARNING之上等级的才记录日志信息。
• 日志等级从低到高的顺序是: DEBUG < INFO < WARNING < ERROR < CRITICAL

3. logging日志的使用

在 logging 包中记录日志的方式有两种:

• 输出到控制台
• 保存到日志文件

日志信息输出到控制台的示例代码:

import logging

logging.debug('这是一个debug级别的日志信息')
logging.info('这是一个info级别的日志信息')
logging.warning('这是一个warning级别的日志信息')
logging.error('这是一个error级别的日志信息')
logging.critical('这是一个critical级别的日志信息')

运行结果:

WARNING:root:这是一个warning级别的日志信息
ERROR:root:这是一个error级别的日志信息
CRITICAL:root:这是一个critical级别的日志信息

说明:

• 日志信息只显示了大于等于WARNING级别的日志，这说明默认的日志级别设置为WARNING

使用logging默认日志器,日志等级和输出格式的设置:

import logging

# 设置日志等级和输出日志格式,logging.basicConfig 表示 logging 日志配置操作
logging.basicConfig(level=logging.DEBUG,
                    format='%(asctime)s - %(filename)s[line:%(lineno)d] - %(levelname)s: %(message)s')

logging.debug('这是一个debug级别的日志信息')
logging.info('这是一个info级别的日志信息')
logging.warning('这是一个warning级别的日志信息')
logging.error('这是一个error级别的日志信息')
logging.critical('这是一个critical级别的日志信息')

运行结果:

2019-02-13 20:41:33,080 - hello.py[line:6] - DEBUG: 这是一个debug级别的日志信息
2019-02-13 20:41:33,080 - hello.py[line:7] - INFO: 这是一个info级别的日志信息
2019-02-13 20:41:33,080 - hello.py[line:8] - WARNING: 这是一个warning级别的日志信息
2019-02-13 20:41:33,080 - hello.py[line:9] - ERROR: 这是一个error级别的日志信息
2019-02-13 20:41:33,080 - hello.py[line:10] - CRITICAL: 这是一个critical级别的日志信息

代码说明:

• level 表示设置的日志等级
• format 表示日志的输出格式, 参数说明:
  • %(levelname)s: 打印日志级别名称
  • %(filename)s: 打印当前执行程序名
  • %(lineno)d: 打印日志的当前行号
  • %(asctime)s: 打印日志的时间
  • %(message)s: 打印日志信息

日志信息保存到日志文件的示例代码:

import logging

logging.basicConfig(level=logging.DEBUG,
                    format='%(asctime)s - %(filename)s[line:%(lineno)d] - %(levelname)s: %(message)s',
                    filename="log.txt",
                    filemode="w") # 模式同文件

logging.debug('这是一个debug级别的日志信息')
logging.info('这是一个info级别的日志信息')
logging.warning('这是一个warning级别的日志信息')
logging.error('这是一个error级别的日志信息')
logging.critical('这是一个critical级别的日志信息')

运行结果:

4.自定义日志器

import logging

# 第一步，创建一个自己的日志器logger
logger = logging.getLogger()
logger.setLevel(logging.DEBUG)  # Log等级总开关

# 第二步，创建一个handler，用于写入日志文件
logfile = './log.txt'
fh = logging.FileHandler(logfile, mode='a', encoding="utf-8")  # open的打开模式这里可以进行参考
fh.setLevel(logging.WARNING)  # 输出到file的log等级的开关

# 第三步，再创建一个handler，用于输出到控制台
ch = logging.StreamHandler()
ch.setLevel(logging.DEBUG)  # 输出到console的log等级的开关

# 第四步，定义handler的输出格式
formatter = logging.Formatter("%(asctime)s - %(filename)s[line:%(lineno)d] - %(levelname)s: %(message)s")
fh.setFormatter(formatter)
ch.setFormatter(formatter)

# 第五步，将logger添加到handler里面
logger.addHandler(fh)
logger.addHandler(ch)


# 第六步,使用日志器
logger.debug('这是一个debug级别的日志信息')
logger.info('这是一个info级别的日志信息')
logger.warning('这是一个warning级别的日志信息')
logger.error('这是一个error级别的日志信息')
logger.critical('这是一个critical级别的日志信息')

from datetime import datetime

from flask import request
import logging
import logging.handlers
import os


class RequestFormatter(logging.Formatter):
    def format(self, record):
        """
        自定义格式化参数
        :param record: 日志信息
        :return:
        """
        record.url = request.url  # 定义格式化参数url
        record.remote_addr = request.remote_addr  # 定义格式化参数remote_addr
        return super().format(record)


def create_logger(app):
    """
    设置日志

    :param app: Flask app对象
    """
    # 获取配置
    logging_file_dir = app.config['LOGGING_FILE_DIR']  # 日志文件目录
    logging_file_max_bytes = app.config['LOGGING_FILE_MAX_BYTES']  # 日志文件大小
    logging_file_backup = app.config['LOGGING_FILE_BACKUP']  # 日志文件数量
    logging_level = app.config['LOGGING_LEVEL']  # 日志级别

    # 自定义flask.app日志器
    flask_logger = logging.getLogger('flask.app')
    # 修改日志级别 默认是warning
    flask_logger.setLevel(logging_level)

    # 设置控制台输出处理器
    flask_console_handler = logging.StreamHandler()  # type: logging.StreamHandler
    console_formatter = logging.Formatter('-' * 100 + '\n%(levelname)s %(pathname)s,%(lineno)d: %(message)s\n' + '-' * 100)
    flask_console_handler.setFormatter(console_formatter)

    # 设置文件输出处理器
    flask_file_handler = logging.handlers.RotatingFileHandler(
        filename=os.path.join(logging_file_dir, 'flask.log'),
        maxBytes=logging_file_max_bytes,
        backupCount=logging_file_backup)

    file_formatter = RequestFormatter('[%(asctime)s] %(remote_addr)s requested %(url)s\n'
                                   '%(levelname)s  in %(pathname)s,%(lineno)d: %(message)s')
    flask_file_handler.setFormatter(file_formatter)
    flask_file_handler.setLevel(logging.INFO)

    """限流日志"""
    # 设置限流日志器  flask-limiter组件会自动使用名为flask-limiter日志器进行日志输出
    limit_logger = logging.getLogger('flask-limiter')
    limit_logger.setLevel(logging_level)

    # 设置限流日志-文件输出处理器
    limit_file_handler = logging.handlers.RotatingFileHandler(
        filename=os.path.join(logging_file_dir, 'limit.log'),
        maxBytes=logging_file_max_bytes,
        backupCount=logging_file_backup)
    limit_file_handler.setFormatter(file_formatter)

    # 添加处理器
    flask_logger.addHandler(flask_file_handler)
    limit_logger.addHandler(limit_file_handler)

    # 埋点日志
    trace_file_handler = logging.FileHandler(
        os.path.join(logging_file_dir, 'userClick.log')
    )
    trace_file_handler.setFormatter(logging.Formatter('%(message)s'))
    log_trace = logging.getLogger('trace')
    log_trace.addHandler(trace_file_handler)
    log_trace.setLevel(logging.INFO)

    if app.debug:
        flask_logger.addHandler(flask_console_handler)
        limit_logger.addHandler(flask_console_handler)


def write_trace_log(param):
    """
    写埋点日志
    :param read_time: 阅读时间
    :param param: 埋点参数
    """
    logger = logging.getLogger('trace')
    message = '{"readTime":"%s","param":%s}' % (datetime.now().strftime('%Y-%m-%d %H:%M:%S'), param)
    logger.info(message)

5. 小结

• 记录python程序中日志信息使用 logging 包来完成

• logging日志等级有5个:

  • DEBUG
  • INFO
  • WARNING
  • ERROR
  • CRITICAL

打印(记录)日志的函数有5个:

• logging.debug函数, 表示: 打印(记录)DEBUG级别的日志信息
• logging.info函数, 表示: 打印(记录)INFO级别的日志信息
• logging.warning函数, 表示: 打印(记录)WARNING级别的日志信息
• logging.error函数, 表示: 打印(记录)ERROR级别的日志信息
• logging.critical函数, 表示: 打印(记录)CRITICAL级别的日志信息