在处理大文件时使用yield

最近在工作中需要对系统的日志文件进行解析并统计数据，日志文件数量多并且非常大，脚本中使用了进程和线程对不同日期的日志进行分别处理。一开始没考虑到批量读取文件会对内存造成巨大的消耗。直到执行脚本的时候，才发现内存亮红灯了。呵呵
后面开始对脚本进行优化，考虑到yield的特性。于是将读取文件的方法独立出来并在其中使用yield，这样就将这个方法变成了一个生成器，如下：

def read_log_by_yield(log_path):
    try:
        with open(log_path, "rU") as log_f:
            while True:
                block = log_f.next()
                if block:
                    yield block
                else:
                    return
    except Exception as e:
        print str(e)

通过这样的优化，再次执行脚本后，内存消耗明显降低了。