python 分析监控日志

统计每秒请求次数：

with open('csm.integration.20170714.info.log') as fin, open('C:\\Users\\su\\Desktop\\111111.txt','w') as fout:
    rei ={}
    a="Integration requests received!"
    for line in fin:
        if a in line:
            rei[line[13:21]] = rei.get(line[13:21],0)+1
    for key,value in rei.items():
        fout.write(str(key)+"," + str(value)+"\n")
        #print(key,value)
print("end")

画图：

import matplotlib.pyplot as plt


path = "C:\\Users\\su\\Desktop\\111111.txt" # 文件路径
f = open(path) #打开文件
content = f.read().splitlines() # 读取并分割行，splitlines()默认按照'\n'分割
head = content[0] # 每列的head，如果没有head，此行可忽略
data_str = content[1:] # 此时数据以字符串的形式存入一个列表
data_num = [[]]*len(data_str) # 创建一个空列表，用以装入转后后的数据


# for循环用以将字符串形式的数据转换成数字，这一步结束就已经完成了转换了
# 转换后的数据存储在data_num中
for i in range(len(data_str)):
   data_num[i] = [str(x) for x in data_str[i].split(',')]




# 下面是利用numpy和matplotlib.pyplot进行数组转换和画图 
data_array = np.array(data_num) # 将数据转换成二维数组


# 下面将二维数组中的每一列存储到一个列向量中，以备画图
lamda = data_array[:,0] 


s_lamda = data_array[:,1]




# 下面是创建图形，并作图；利用上面的lamda作为x坐标轴，其余数据作为y，进行画图。
plt.figure()
plt.plot(lamda, s_lamda,linewidth=0.2)
plt.show()