今天群里有个伙计问,怎么用python统计Nginx日志访问次数前十的IP才能快一些,他表示自己使用的方式是将日志前面的IP全部放在列表中,然后通过列表的count方法来统计的,起初都还好,但是当日志量一大就很慢,问有没有啥好的方法可以解决!
当然有,可以使用python的字典来加快速度,下面的日志文件是我用代码模拟生成的:
#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time : 2019/5/22 10:27
# @Author : Cooleyes
# @File : get_top10.py
# @Software: PyCharm
# 舞台再大,你不表演,你永远都是观众!
# 创建一个空字典用来统计IP出现的次数
ip_count = {}
with open('nginx.log') as f:
lines = f.readlines()
for line in lines:
# 通过spilt取得ip
ip = line.strip().split()[0]
# 如果ip在字典中那么值+1否则在字段中添加ip并赋值为1
if ip in ip_count:
ip_count[ip] += 1
else:
ip_count[ip] = 1
# 最后使用items方法将字段转成元组的形式,进行排序,取出前十位
# [('192.168.1.1',11), ('192.168.1.2',10), ......]
for ip, count in sor