提取和分析log日志文件中的数据

笔者最近最近帮助技术同事解决了一个提取和分析日志数据的问题，主要使用了python3中的正则表达式和DataFrame两个功能模块，具体代码如下：

import numpy as np
import pandas as pd
import re

log=open(r'F:\yycms_access_2019-07-16.log','r').readlines() #读取日志文件，模式为只读
len(log)  #通过输出长度来检验是否读取成功

#在日志文件中提取request_time信息，并写入列表time_list
time_list=[]
for i in range(len(log)):
    time=log[i][-7:-2]#根据time数据所在位置提取信息
    time_list.append(float(time))#注意，提取出来的time为字符串格式，为了后面计算的需要，要转换成浮点数字
    i+=1
time_list

#使用正则表达式提取日志文件中的url信息，并写入另一个列表url_list
url_list=[]
pat='[A-Z]+ (.*?) HTTP/1.1'  #正则表达式通过观察原文件中url的位置和组成而构建
for i in range(len(log)):
    string=str(log[i])
    url=re.findall(pat,string)[0]#查找匹配的正则表达式
    url_list.append(url)
    i+=1
url_list

#将上述两个列表组合成一个DataFrame表格
data=pd.DataFrame([url_list,time_list]).T 
data.columns=['url','time']
data

#找出访问量最大的10个url
num=data.groupby('url').count() #先按照url统计访问次数（即同一url出现的次数）
num=num.sort_values(by='time',ascending=False) #再按照访问次数降序排列
num.head(10)#只显示前10个

#访问速度最慢的10个URL
data_sorted=data.sort_values(by='time',ascending=False)#按照访问时间进行降序排列
top=data_sorted.drop_duplicates('url',keep='first')#对排序后的数据进行去重
top.head(10)  #只显示前10个

#将上述两列数据通过url关联起来，形成一个新表（类似sql中的leftjion功能）
total=pd.merge(top,num,on='url',how='left') 
total.columns=['url','request_time','times']#重新命名列名称
total.head(10) #只显示前10个

 #将结果保存为csv文件
total.to_csv(r'F:\\total_data.csv')
``