【应用实例】如何利用 Python 生成器 yield 监控日志？

Python 生成器 yield 是编写基于处理管道，流或数据流程序的一种极其强大的方式，在《Python参考手册》中有一则实例非常简单实用，略加修改，分享一下给大家。如果你对生成器yield还不是很了解，可以查看《觉得Python中的生成器（yield）晦涩难懂？看完本文你就知道了》。

Python生成器yield应用实例—监控日志源码下载

需求分析

假设服务器有一个日志文件，每隔一秒都会更新日志的内容，日志每行中都有一组类似：2017-12-21 14:07:26.471691 99123 数据被写入日志。 我们的目的是分析日志中的数字如果大于5000就要打印出来。 这样来看，我们需要一个程序负责模拟日志写入，另一个程序负责分析日志打印数据。

模拟日志写入

server_log.py：

import random
from datetime import *
import os
import time


def server_log():
    # 生成模拟的日志数据
    server_int = random.randint(1,99999)#生成需要的随机数
    server_date = datetime.now()#获取当前系统时间
    return str(server_date) + ' ' + str(server_int)#拼装日志字符串


while True:
    #模拟系统写入日志
    #打开日志文件并写入日志
    with open(os.path.join(os.path.dirname(__file__),'server_log.log'),'at') as f :
        s = server_log()
        print(s)
        f.write(s + '\n')
    time.sleep(1)

上边的代码已经添加了相关的注释，这样我们就有了一个日志文件，每秒会有一第记录插入到日志中。

利用生成器yield解析日志

生成器可以返回一个迭代的流式的对象，我们可以通过这种方式便捷的获得相关数据，而且代码也更清晰易懂

tail.py 代码如下：

import time

def tail(f):
    f.seek(0,2)#移动到文件尾部。
    while True:
        line = f.readline()
        if not line :
            time.sleep(1)
            continue
        yield line

def grep(lines):
    for l in lines:
        k = int(l.split()[2])
        if k >50000:
            yield l

serverlog = tail(open('server_log.log'))
lines = grep(serverlog)

for line in lines:
    print(line)

我们运行两个文件看下效果：

代码虽然简单，但值得细细品味，感受python的简约与强大吧。

【专业Python IDE推荐】——PyCharm 

PyCharm 是一款Python IDE，其带有一整套可以帮助用户在使用Python语言开发时提高其效率的工具。此外，该IDE提供了一些高级功能，以用于Django框架下的专业Web开发。

转载于:https://my.oschina.net/u/4031066/blog/3038064