python读取大文件性能_用python读取大文件

使用非GUI方式运行JMeter后，一个麻烦就是看不到结果树之类的报告，如果request发生意想不到的错误自己不知道会很麻烦。于是我往往在jmx里加一些设定，让jmeter写一些记录到文件中去以方便察看

如果sampler运行总数是几百上千万，那么这个记录文件就相当可观了，不过还好目前jmeter打开个2,3G的文件还是可以的，只需要等一会儿

但是结果树是察看不到了(其实写到这里我想想，我并没有试过保存一个完整的jtl文件，然后在jmeter中load是什么效果，也许我应该试一试)

解决方案是有的，保存一个jtl，jtl里存所有数据，然后用python解析

说到这里我想想，的确从用JMeter开始，我才意识到要注意python的性能，读取一个很大的文件，生成一个很长的list，然后取平均值，50%，60%。。90%这样的值，数据增加到大量后，许多性能问题就要暴露出来了

于是网上找来找去，找到一些办法

对于大文件，我用with open(xx) as fp:  for l in fp:方式来读取，目前感觉良好，比用readlines()要好。。 至于量化指标，还没有

def run_parser():

global log_dic

result_file = r'C:\apache-jmeter-2.10\extras\useraction.csv'

with open(result_file) as fp:

for line in fp:

readline(line)对于巨长list，我还没有试验，有空试一下