Python3学习（三十九）：如何实时操作处理日志文件

最新推荐文章于 2024-08-30 08:09:26 发布

猪笨是念来过倒

最新推荐文章于 2024-08-30 08:09:26 发布

阅读量4.6k

点赞数 1

分类专栏： Python 文章标签： python

本文链接：https://blog.csdn.net/liao392781/article/details/85598277

版权

本文介绍了如何使用Python3对日志文件进行实时处理。首先，通过`subprocess`模块结合`tail -F`命令处理单一日志文件；其次，面对不断产生新文件的情况，提出在实时监听中判断文件大小，超过特定阈值则切换到新文件的方法。

摘要由CSDN通过智能技术生成

最近，需要对日志文件进行实时数据处理。

一、简单的实时文件处理（单一文件）

假设我们要实时读取的日志的路径为： /data/mongodb/shard1/log/pg.csv

那么我们可以在python文件中使用shell脚本命令tail -F 进行实时读取并操作

代码如下：

import re
import codecs
import subprocess

def pg_data_to_elk():
    p = subprocess.Popen('tail -F /data/mongodb/shard1/log/pg.csv', shell=True, stdout=subprocess.PIPE, stderr=subprocess.PIPE,)    #起一个进程，执行shell命令
    while True:
        line = p.stdout.readline()   #实时获取行
        if line:                     #如果行存在的话
            xxxxxxxxxxxx
            your operation

简单解释一下subprocess模块：

subprocess允许你生成新的进程，连接到它们的 input/output/error 管道，并获取它们的返回（状态）码。

subprocess.Popen介绍

该类用于在一个新的进程中执行一个子程序。

subprocess.Popen的构造函数