python日志库_哪些 Python 库让你相见恨晚？

我给这个Python库打101分，因为实在太好用了！

日志在开发过程中是一种被很多程序员不重视，但是却至关重要的一项功能。

我认为在一个系统的整个生命周期里，日志系统虽然工作量不大，但是论重要性程度能够占10%-15%的比重，或者更高。

优秀的日志管理，至少能够从3个方面提升系统：调试速度

执行效率

运维效率

很少有人敢确保一个系统开发完成之后不会出现任何问题，因此，在一个完善的商业化系统设计过程中，日志管理都会被视为一个重要模块。

日志输出、Kafka日志订阅、日志分析，完备的日志管理能够在系统出现问题时，维护人员需要明确4个问题：问题是什么？

问题出在哪？

什么时间出现的问题？

为什么出现问题？

然后，快速定位、快速恢复系统正常运行。要清楚的是，系统正式上线之后，恢复系统时间每多耗费1分钟，它带来的资损和负面影响都是无法估量的。

而在Python中，提到日志管理每个大多数Python开发者都会脱口而出logging。

logging是Python内置的标准库，也是使用频率较高的日志管理Python库，但是它有着一些明显的缺点：功能单一

执行效率低

需要手动配置

Python内置的标准logging库默认配置输出的日志内容非常简单，没有时间、位置这些在日志管理过程中至关重要的信息，每一次使用都需要自己手动配置一下，这样会带来冗余的代码和工作量。

为了解决这些问题，本文就来介绍一款可以很好替代标准logging库的第三方日志管理库--Eliot。

Eliot

前面已经提到，一个优秀的日志管理系统至少要回答4个问题：问题是什么？

问题出在哪？

什么时间出现的问题？

为什么出现问题？

但是，大多数日志库都不具备这样的功能。而本文介绍的Eliot恰好都能满足这些需求。

除了能够回答上述问题，告诉你问题是什么、问题出在哪、为什么出现问题，Eliot还具有很多其他特性：结构化输出日志信息，能够对输出一目了然

可以用于解析和过滤日志

不仅记录简单信息，还可以追踪程序的执行过程

性能非常好，使用非堵塞IO

可以结合Logstash/Elasticsearch使用

下面就来看一下Eliot的基本使用，更加丰富的功能，各位同学可以阅读一下文档仔细了解一下Eliot的使用。

安装

可以使用pip安装，

$ pip install eliot eliot-tree

也可以使用conda安装，

$ conda install -c conda-forge eliot eliot-tree

安装的eliot用于日志的生成、输出、分析等功能，eliot-tree可以实现以树结构可视化日志信息。

使用

首先给出一段示例代码，

import requests

from eliot import start_action, to_file

# 1. to_file

to_file(open("linkcheck.log", "w"))

def check_links(urls):

with start_action(action_type="check_links", urls=urls):

for url in urls:

try:

# 2. start_action

with start_action(action_type="download", url=url):

response = requests.get(url)

response.raise_for_status()

except Exception as e:

raise ValueError(str(e))

try:

check_links(["http://eliot.readthedocs.io", "http://nosuchurl"])

except ValueError:

print("Not all links were valid.")

在这段代码中有2处用到了Eliot：to_file：用于指定输出日志文件；

start_action：用于创建动作，如果动作成功则输出succeed ，否则抛出异常；

然后再命令行下执行代码：

$ python linkcheck.py

这时候会发现生成了一个名为linkcheck.log的日志文件。

但是，当用文本编辑器打开的时候会发现，日志的格式很单一、并没有树结构的信息。

如果想以树结构的方式可视化输出信息，就需要用到eliot-tree这个工具。

$ eliot-tree linkcheck.log

b1cb58cf-2c2f-45c0-92b2-838ac00b20cc

└── check_links/1 ⇒ started

├── timestamp: 2017-10-27 20:42:47.206684

├── urls:

│ ├── 0: http://eliot.readthedocs.io

│ └── 1: http://nosuchurl

├── download/2/1 ⇒ started

│ ├── timestamp: 2017-10-27 20:42:47.206933

│ ├── url: http://eliot.readthedocs.io

│ └── download/2/2 ⇒ succeeded

│ └── timestamp: 2017-10-27 20:42:47.439203

├── download/3/1 ⇒ started

│ ├── timestamp: 2017-10-27 20:42:47.439412

│ ├── url: http://nosuchurl

│ └── download/3/2 ⇒ failed

│ ├── errno: None

│ ├── exception: requests.exceptions.ConnectionError

│ ├── reason: HTTPConnectionPool(host='nosuchurl', port=80): Max retries exceeded with url: / (Caused by NewConnec…

│ └── timestamp: 2017-10-27 20:42:47.457133

└── check_links/4 ⇒ failed

├── exception: builtins.ValueError

├── reason: HTTPConnectionPool(host='nosuchurl', port=80): Max retries exceeded with url: / (Caused by NewConnec…

└── timestamp: 2017-10-27 20:42:47.457332

在这个结构化的日志信息中，可以一目了然的看出3个方面的信息：哪些动作成功了，哪些动作失败了；

失败的动作会记录异常

日志追踪并记录了执行的详细动作

另外，执行每一步的详细时间戳也被记录在日志中。

除了在日志生成和输出增强日志管理之外，Eliot还在日志分析方面也提供了很不错的解决方案。

在以往，系统运行很长时间之后会产生大量的日志，通过肉眼逐行去看、或者手动搜索关键字的方式都不显示，从零开始开发一款日志分析系统耗费成本也较高。

Eliot针对日志分析加入了2项非常实用的功能：过滤

解析

通过这2项功能，就不需要再去写一个复杂的逻辑去处理日志文件、解析对应的行和关键字。在Eliot中，只需要简短的代码就可以实现日志的定位和解析。除此之外，Eliot转为json输出而设计，可以结合Elasticsearch使用，简历搜索索引，能够通过自建的搜索引擎快速搜索到想要的日志信息。