同时,也欢迎关注我的微信公众号 AlwaysBeta,更多精彩内容等你来。
日志是个好东西,但却并不是所有人都愿意记,直到出了问题才追悔莫及,长叹一声,当初要是记日志就好了。
但记日志却是个技术活,不能什么都不记,但也不能什么都记。如果记了很多没用的信息,反而给查日志排错的过程增加很多困难。
所以,日志要记录在程序的关键节点,而且内容要简洁,传递信息要准确。要清楚的反应出程序当时的状态,时间,错误信息等。
只有做到这样,我们才能在第一时间找到问题,并且解决问题。
在 Django 中使用 Python 的标准库 logging 模块来记录日志,关于 logging 的配置,我这里不做过多介绍,只写其中最重要的四个部分:Loggers
、Handlers
、Filters
和 Formatters
。
Loggers
Logger
即记录器,是日志系统的入口。它有三个重要的工作:
-
向应用程序(也就是你的项目)公开几种方法,以便运行时记录消息
-
根据传递给
Logger
的消息的严重性,确定消息是否需要处理 -
将需要处理的消息传递给所有感兴趣的处理器
Handler
每一条写入 Logger
的消息都是一条日志记录,每一条日志记录都包含级别,代表对应消息的严重程度。常用的级别如下:
-
DEBUG
:排查故障时使用的低级别系统信息,通常开发时使用 -
INFO
:一般的系统信息,并不算问题 -
WARNING
:描述系统发生小问题的信息,但通常不影响功能 -
ERROR
:描述系统发生大问题的信息,可能会导致功能不正常 -
CRITICAL
:描述系统发生严重问题的信息,应用程序有崩溃的风险
当 Logger
处理一条消息时,会将自己的日志级别和这条消息配置的级别做对比。如果消息的级别匹配或者高于 Logger
的日志级别,它就会被进一步处理,否则这条消息就会被忽略掉。
当 Logger
确定了一条消息需要处理之后,会把它传给 Handler
。
Handlers
Handler
即处理器,它的主要功能是决定如何处理 Logger
中的每一条消息,比如把消息输出到屏幕、文件或者 Email 中。
和 Logger
一样,Handler
也有级别的概念。如果一条日志记录的级别不匹配或者低于 Handler
的日志级别,则会被 Handler
忽略。
一个 Logger
可以有多个 Handler
,每一个 Handler
可以有不同的日志级别。这样就可以根据消息的重要性不同,来提供不同类型的输出。例如,你可以添加一个 Handler
把 ERROR
和 CRITICAL
消息发到你的 Email,再添加另一个 Handler
把所有的消息(包括 ERROR
和 CRITICAL
消息)保存到文件里。
Filters
Filter
即过滤器。在日志记录从 Logger
传到 Handler
的过程中,使用 Filter
来做额外的控制。例如,只允许某个特定来源的 ERROR
消息输出。
Filter
还被用来在日志输出之前对日志记录做修改。例如,当满足一定条件时,把日志级别从 ERROR
降到 WARNING
。
Filter
在 Logger
和 Handler
中都可以添加,多个 Filter
可以链接起来使用,来做多重过滤操作。
Formaters
Formatter
即格式化器,主要功能是确定最终输出的形式和内容。
说了这么多理论,是时候来看看具体怎么实现了。
其实最简单的方式就是直接在文件开头 import
,然后程序中调用,像下面这样:
import the logging library
import logging
Get an instance of a logger
logging.basicConfig(
format=‘%(asctime)s - %(pathname)s[%(lineno)d] - %(levelname)s: %(message)s’,
level=logging.INFO)
logger = logging.getLogger(name)
def my_view(request, arg1, arg):
…
if bad_mojo:
Log an error message
logger.error(‘Something went wrong!’)
但这种方式并不好,如果在每个文件开头都这样写一遍,第一是麻烦,第二是如果哪天要改变输出日志格式,那每个文件都要改一遍,还不累死。
很显然,如果能封装成一个类,用的时候调用这个类,修改的时候也只需要修改这一个地方,是不是就解决这个问题了呢?
自定义类
下面来看看具体这个类怎么封装:
class CommonLog(object):
“”"
日志记录
“”"
def init(self, logger, logname=‘web-log’):
self.logname = os.path.join(settings.LOGS_DIR, ‘%s’ % logname)
self.logger = logger
self.logger.setLevel(logging.DEBUG)
self.logger.propagate = False
self.formatter = logging.Formatter(‘%(asctime)s - %(name)s - %(levelname)s: %(message)s’, ‘%Y-%m-%d %H:%M:%S’)
def __console(self, level, message):
创建一个FileHandler,用于写到本地
fh = logging.handlers.TimedRotatingFileHandler(self.logname, when=‘MIDNIGHT’, interval=1, encoding=‘utf-8’)
fh = logging.FileHandler(self.logname, ‘a’, encoding=‘utf-8’)
fh.suffix = ‘%Y-%m-%d.log’
fh.setLevel(logging.DEBUG)
fh.setFormatter(self.formatter)
self.logger.addHandler(fh)
创建一个StreamHandler,用于输出到控制台
ch = logging.StreamHandler()
ch.setLevel(logging.DEBUG)
ch.setFormatter(self.formatter)
self.logger.addHandler(ch)
if level == ‘info’:
self.logger.info(message)
elif level == ‘debug’:
self.logger.debug(message)
elif level == ‘warning’:
self.logger.warning(message)
elif level == ‘error’:
self.logger.error(message)
这两行代码是为了避免日志输出重复问题
self.logger.removeHandler(ch)
self.logger.removeHandler(fh)
关闭打开的文件
fh.close()
def debug(self, message):
self.__console(‘debug’, message)
def info(self, message):
self.__console(‘info’, message)
def warning(self, message):
self.__console(‘warning’, message)
def error(self, message):
self.__console(‘error’, message)
这是我在项目中还在用的一段代码,生成的文件按天进行切分。
当时写这段代码,有个问题折腾了我很久,就是显示代码报错行数的问题。当 formatter
配置 %(lineno)d
时,每次并不是显示实际的报错行,而是显示日志类中的代码行,但这样显示就失去意义了,所以也就没有配置,用了 %(name)s
来展示实际的调用文件。
其实,如果只是为了排错方便,记录一些日志,这个类基本可以满足要求。但如果要记录访问系统的所有请求日志,那就无能为力了,因为不可能手动在每个接口代码加日志,也没必要。
这个时候,很自然就能想到 Django 中间件了。
Django 中间件
中间件日志代码一共分三个部分,分别是:Filters
代码,middleware
代码,settings
配置,如下:
local = threading.local()
class RequestLogFilter(logging.Filter):
“”"
日志过滤器
“”"
def filter(self, record):
record.sip = getattr(local, ‘sip’, ‘none’)
record.dip = getattr(local, ‘dip’, ‘none’)
record.body = getattr(local, ‘body’, ‘none’)
record.path = getattr(local, ‘path’, ‘none’)
record.method = getattr(local, ‘method’, ‘none’)
record.username = getattr(local, ‘username’, ‘none’)
record.status_code = getattr(local, ‘status_code’, ‘none’)
record.reason_phrase = getattr(local, ‘reason_phrase’, ‘none’)
return True
class RequestLogMiddleware(MiddlewareMixin):
“”"
将request的信息记录在当前的请求线程上。
“”"
def init(self, get_response=None):
self.get_response = get_response
self.apiLogger = logging.getLogger(‘web.log’)
def call(self, request):
try:
body = json.loads(request.body)
except Exception:
body = dict()
if request.method == ‘GET’:
自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。
深知大多数Python工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年Python开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上前端开发知识点,真正体系化!
由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新
如果你觉得这些内容对你有帮助,可以扫码获取!!!(备注:Python)
[外链图片转存中…(img-Rq7ZxuXG-1713552975059)]
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上前端开发知识点,真正体系化!
由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新
如果你觉得这些内容对你有帮助,可以扫码获取!!!(备注:Python)