python filter过滤器的使用_Python开发——logging模块详解

logging简介

logging是python的内置库，主要用于进行格式化内容输出，可将格式化内容输出到文件，也可输出到屏幕。我们在开发过程中常用print函数来进行调试，但是实际应用部署时我们要将日志的信息要输出到文件中，方便后续查找以及备份。在我们使用日志管理时，我们还可以将日志格式化成json对象转存到ELK中方便图形化查看及管理。前面说的这些，我们都可以通过logging所包含的功能以及提供扩展的方式来完成。

logging工作流程

python logging工作流程

这是从网上查到一个关于python logging模块的工作流程图，非常遗憾没有找到出处。

可以看到图中，几个关键的类

Logger

用于记录日志的对象。

通过流程图可以看到

1. 判断是否enabled，实质就是看记录的level（http://logger.info，logger.debug等）和当前logger对象设置的level是否满足（比如logger设置的lever是Info，记录时使用的logger.debug，那么就会不满足，所以不会记录日志）
2. 查看logger的过滤器是否满足。filter通过之后，交给logger的handler来记录日志，一个logger是可以设置多个handler。
3. 交给Handlers实际记录日志

注：在整个应用中可以有多个logger，使用logging.getLogger时通过指定name来获取对象，实际logging中还存在一个Manager类，由Manager来进行多logger的单例模式管理。

Handler

用于记录日志到具体的文件或者输出流或其他的管道。

1. 查看记录日志是否满足过滤器
2. 满足过滤器，按照设置的Formatter生成字符串
3. 将内容写入到具体的文件或者输出流

不同的Handler可能有不同的处理，但是底层原理还是做这三件事情。

Filter

用于过滤用户记录日志时，是否满足记录标准

Formatter

用于格式化，输出的字符串格式

这是原生自带的格式

%

LogRecord

我们每一次的 http://logger.info logger.debug logger.error等实际上都是进行一次LogRecord的处理

包含一些基本的输出日志内容，以及内容中参数，还有附带的函数名称，行数等信息

logging源码阅读

这是我这边基于字典的一个logging配置

import 

下面我们就基于config第一次配置时整个logging的工作原理。结合代码进行分析logging的工作之路。

我的python版本是Python3.6

从logging.config开始

dictConfigClass 

实质上是实例化logging.config.DictConfigurator类的对象，然后执行其configure方法。

class 

我们对incremental不进行设置，即使用全量的方式进行配置，对于所有的handler重置并处理

看下来基本上分为4步来走。 1. 配置Formatter 2. 配置Filter 3. 配置Handler 4. 配置Logger

Formatter配置

源码部分

def 

可以使用自己的Formatter，默认使用logging.Formatter

Filter配置

def 

设置filter,可以参考我上面配置的字典，可以自己定义Filter也可以使用系统内置Filter

Handler配置

def 

可以看到，前面顺序先配置formatter和filter是因为这里需要引用的到

值得注意的是，我们初始化时传递的一个字典，在整个配置过程中，字典里面的值会随着我们每次的配置变化而变化，所以我们在每个元素配置之后，在使用上一个字典元素时，就是配置完成之后的元素，为了方便理解，将配置filter之前和配置filter之后，config中的filter变化列出来

config 

配置前是我们配置文件中的内容，配置完成之后filter已经是一组对象了，所以在配置handler时我们就可以直接使用对象add_filter了。

Logger配置

def 

这就比较容易理解了，将我们上面配置过的filters和handlers添加到我们的logger中。

这里需要注意的一点是logger = logging.getLogger(name)，看下logger.getLogger源码

root 

可以看到，logging使用Mangaer进行logger的单例管理

截止到这里，基本上我们使用前的准备，logging都替我们准备好了，下面就是我们的使用

获取logger并记录日志

class 

根据代码可以看到符合我们流程图看到的流程，我们细化一下就是 1. 查看记录日志是否满足过滤器，然后准备logrecord中的信息并生成logrecord 2. 将logrecord交给所有handlers处理 3. 在handler中确定是否满足handler过滤器，满足的话按照配置的Formatter生成字符串 4. 将内容写入到具体的文件或者输出流

logger 

有兴趣的同学可以继续试试其他好玩的处理

加深交流联系看下方