python在统计专业的应用_Python在简单数据统计中的应用--随笔记

日常工作中经常会将记录一些log信息，因为这些log信息数据量比较大，大概5/6万行，靠人工用眼睛分析就不太可靠了，所以想着用Python做一些简单的数据统计分析。Python里有一些容易使用的工具，比如numpy、matplotlib等等。代码处理比较简单，就没有写成文件，直接在IDLE中运行的。当然前提是环境搭好，需要的库都安装好。

log信息是txt格式的，且格式也是统一的，这是用这种方法的前提。如果格式不统一，此种方法就不适用了。那就需要先进行预处理了。

文件格式类似以下,且是单独成行的：

1 Cout:[56]2 Exte:[589, 8345]3 Cout:[61]4 Exte:[590, 8459]5 Cout:[49]6 Exte:[600, 8701]7 ...8 ...

以下是处理过程：

1 >>> fd = open('E:\\xxx\\yyy\\zzz.txt', 'rt')2 >>> cont1 =fd.readlines()3 >>> fea_str1 = 'Cout:'

4 >>> fea_str2 = 'Exte:'

先把log文件打开，再把其内容读到一变量中；当然大家都知道这个变量其实是个列表(list)。列表比较容易用for语句进行遍历，也容易进行截取操作(其实就是所谓的“切片”吧，英语是slice)。下面再声明两个“特征”字符串，便于查找我们想要的数据。我们想要的数据，是类似56，61，49；589，590，600；8345，8459，8701这样的数据。

1 >>> cout1 =[]2 >>> exte_adc1 =[]3 >>> exte_vol1 = []

我们将要提取的结果也放到列表中，需要事先声明。

其实以下是提取过程的主要操作：

1 >>> for c incont1:2 if c.find(fea_str1) != -1:3 t = c.split(':')4 cout1.append(int(t[1].strip('[').strip(']\n')))5 elif c.find(fea_str2) != -1:6 t = c.split(':')7 t = t[1].split(',')8 exte_adc1.append(int(t[0].strip('[')))9 exte_vol1.append(int(t[1].strip(']\n')))10 >>>

运行上述代码后，需要的数据就保存到了cout1、exte_adc1、exte_vol1中了。

可以进行简单的验证：

1 >>>len(cont1)2 >>>len(cout1)3 >>>len(exte_adc1)4 >>> len(exte_vol1)

文件的总行数可以通过其他编辑器打开而知道，文件内容是行"Cout:"及"Exte:"交替出现的，可以知道它们出现的次数。

可以通过numpy及matplotlib进行一些统计。

1 >>> importnumpy as np2 >>> from matplotlib importpyplot as plt3 >>> cout1_np =np.array(cout1)4 >>>np.mean(cout1_np)5 >>>np.std(cout1_np)6 >>>plt.plot(cout1_np)7 >>> plt.show()

上述代码计算了其平均值、标准差，看下它的曲线图。

上述只是进行简单的计算，没有考虑什么性能等。

最后不要忘记，关闭文件句柄。

1 >>> fd.close()