日常工作中经常会将记录一些log信息,因为这些log信息数据量比较大,大概5/6万行,靠人工用眼睛分析就不太可靠了,所以想着用Python做一些简单的数据统计分析。Python里有一些容易使用的工具,比如numpy、matplotlib等等。代码处理比较简单,就没有写成文件,直接在IDLE中运行的。当然前提是环境搭好,需要的库都安装好。
log信息是txt格式的,且格式也是统一的,这是用这种方法的前提。如果格式不统一,此种方法就不适用了。那就需要先进行预处理了。
文件格式类似以下,且是单独成行的:
1 Cout:[56]2 Exte:[589, 8345]3 Cout:[61]4 Exte:[590, 8459]5 Cout:[49]6 Exte:[600, 8701]7 ...8 ...
以下是处理过程:
1 >>> fd = open('E:\\xxx\\yyy\\zzz.txt', 'rt')2 >>> cont1 =fd.readlines()3 >>> fea_str1 = 'Cout:'
4 >>> fea_str2 = 'Exte:'
先把log文件打开,再把其内容读到一变量中;当然大家都知道这个变量其实是个列表(list)。列表比较容易用for语句进行遍历,也容易进行截取操作(其实就是所谓的“切片”吧,英语是slice)。下面再声明两个“特征”字符串,便于查找我们想要的数据。我们想要的数据,是类似56,61,49;589,590,600;8345,8459,8701这样的数据。
1 >>> cout1 =[]2 >>> exte_adc1 =[]3 >>> exte_vol1 = []
我们将要提取的结果也放到列表中,需要事先声明。
其实以下是提取过程的主要操作:
1 >>> for c incont1:2 if c.find(fea_str1) != -1:3 t = c.split(':')4 cout1.append(int(t[1].strip('[').strip(']\n')))5 elif c.find(fea_str2) != -1:6 t = c.split(':')7 t = t[1].split(',')8 exte_adc1.append(int(t[0].strip('[')))9 exte_vol1.append(int(t[1].strip(']\n')))10 >>>
运行上述代码后,需要的数据就保存到了cout1、exte_adc1、exte_vol1中了。
可以进行简单的验证:
1 >>>len(cont1)2 >>>len(cout1)3 >>>len(exte_adc1)4 >>> len(exte_vol1)
文件的总行数可以通过其他编辑器打开而知道,文件内容是行"Cout:"及"Exte:"交替出现的,可以知道它们出现的次数。
可以通过numpy及matplotlib进行一些统计。
1 >>> importnumpy as np2 >>> from matplotlib importpyplot as plt3 >>> cout1_np =np.array(cout1)4 >>>np.mean(cout1_np)5 >>>np.std(cout1_np)6 >>>plt.plot(cout1_np)7 >>> plt.show()
上述代码计算了其平均值、标准差,看下它的曲线图。
上述只是进行简单的计算,没有考虑什么性能等。
最后不要忘记,关闭文件句柄。
1 >>> fd.close()