python 解析nginx accesslog-CSDN博客

python相关学习资料：

解析 Nginx Access Log 用 Python

Nginx 是一种流行的 Web 服务器，它能够处理大量的并发请求。为了监控和分析这些请求，Nginx 会生成访问日志（access log）。这些日志通常包含了请求的详细信息，如请求时间、请求类型、请求的 URL、客户端 IP 地址等。通过分析这些日志，我们可以了解网站的访问情况，优化网站性能，甚至发现潜在的安全威胁。

在本文中，我们将使用 Python 来解析 Nginx 的访问日志。我们将介绍如何读取日志文件，提取关键信息，并进行简单的分析。

准备工作

首先，我们需要一个 Nginx 的访问日志文件。假设日志文件的格式如下：

127.0.0.1 - - [01/Mar/2023:12:00:00 +0000] "GET /index.html HTTP/1.1" 200 612 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36"

读取日志文件

我们可以使用 Python 的内置函数 open() 来读取日志文件：

解析日志

接下来，我们需要解析每条日志，提取出关键信息。我们可以定义一个函数来实现这个功能：

import re

def parse_log(log):
    pattern = r'(?P<ip>\S+) - - \[(?P<time>[^\]]+)\] "(?P<request>[^"]+)" (?P<status>\d+) (?P<size>\d+) "(?P<referrer>[^"]+)" "(?P<agent>[^"]+)"'
    match = re.match(pattern, log)
    if match:
        return match.groupdict()
    else:
        return None

这个函数使用了正则表达式来匹配日志中的各个部分，并返回一个包含这些部分的字典。

分析日志

现在我们可以遍历日志列表，使用 parse_log() 函数解析每条日志，并进行分析。例如，我们可以统计不同状态码的出现次数：

from collections import Counter

status_counts = Counter()

for log in logs:
    parsed_log = parse_log(log)
    if parsed_log:
        status_counts[parsed_log['status']] += 1

print(status_counts)