利用Python3.4+收集fio 测试结果

最新推荐文章于 2023-10-19 16:17:13 发布
最新推荐文章于 2023-10-19 16:17:13 发布
阅读量1.2k 收藏 3
点赞数 5
分类专栏： Python 文章标签： fio结果 python3 自动收集结果 代码 windows
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Morgan_fang1/article/details/97883973
版权 
	因目前fio内置无批量收集测试结果的功能，如果简单的测试（测试结果100个文件以下），可以手动收集结果，但是如果大于100个log文件，处理起来会非常麻烦。
	1.本文脚本运行环境：
		1.1在windows X系统；
		1.2.python3.4+。
	2.用法：
		2.1测试fio脚本输出的log必须要有‘k’ or ‘K’为名称；
		2.2把此py内容拷贝到新建py文件中；
		2.3将py文件拷贝到fio测试结果文件夹中；
		2.4将非fio结果文件移除（建议备份）；
		2.5直接运行py文件即可；
		2.6运行起始要点击回车继续；
		2.7第一在电脑运行时会自动安装一些插件，需要等待即可
	运行完毕后，文件夹中会直接将fio log 结果生成xls表格并汇总起来。

在这里插入图片描述

	如下内容直接全部copy即可：

#!/usr/bin/env python3
#coding=utf-8
#Author：jimfg2010
#Update Date:20190730
#Version:v2019.7
import datetime,platform,time,os,sys,stat,re
print('READ ME!!!   READ ME!!!   READ ME!!! \nPlease make sure your python version later than 3.4, \
put this py file into log folder and remove other logs except fio log,press "Enter" key to continue!!!')
os.system('echo READ ME!!!   READ ME!!!   READ ME!!!   READ ME!!!   READ ME!!!   READ ME!!!                                             \
Please make sure your python version later than 3.4, put this py file into log folder and remove other logs except fio log,\
press "Enter" key to continue!!! & pause')
if(os.path.exists("filedir.log")):
    os.remove("filedir.log")
else:
    pass
if(os.path.exists("filedir1.log")):
    os.remove("filedir1.log")
else:
    pass
os.system('where python >> filedir.log')
fa=open("filedir.log","r+")
dir2=str(fa.readline())
dir3=dir2.replace('python.exe','').replace('\n','')
fa.close()
if(os.path.exists(dir3+"filedir4.log")):
      pass
else:
    os.system('pip install urllib')
    os.system('pip install requests')
    os.system('pip install linecache')
    os.system('pip install shutil')
    os.system('pip install xlrd')
    os.system('pip install xlwt')
    os.system('pip install openpyxl')
    os.system('pip install xlutils')
    fb=open(dir3+"filedir4.log","w")
    fb.close()

import linecache,requests
from urllib import request
import urllib.request
import shutil,xlrd,xlwt,openpyxl
from xlutils.copy import copy
from openpyxl import load_workbook
f0=open("filelist0.log","w")
f0.write(str(os.listdir(os.getcwd())))
f0.close()
f=open("filelist0.log","r+")
f1=open("filelist1.log","w")
line1=str(f.readline())
#显示原始文件列表
line2=line1.replace('[','').replace(']','').replace("', '",'\r\n').replace("'",'')#整理文件列表为目标列表
f1.write(line2)
f1.close()
f.close()
#去掉空白行列表
f2=open("filelist1.log","r")
f3=open("Test_result_file_name.log","w")
for line in f2:
    line=line.strip()
    if len(line)!=0:
        if 'k' in str(line) or 'K' in str(line):
            if 'bw.' not in str(line):
                if 'iops.' not in str(line):
                    if 'lat.' not in str(line):
                        if '.py' not in str(line):
                            if '.sh' not in str(line):
                                if 'Pre' not in str(line):
                                    if 'pre' not in str(line):
                                        if 'dmesg' not in str(line):
                                            if 'smart' not in str(line):
                                                f3.write(str(line))
                                                f3.write('\n')                                  
f2.close()
f3.close()
print('Please wait for data updating')
ddate=time.strftime('%Y%m%d',time.localtime(time.time()))
#新建excel文件（带日期）
wb0=xlwt.Workbook(encoding='utf-8')
ws0=wb0.add_sheet(u"Performance_test_result")
a0=["Test_item_name","rwtype1","IOPS/k","BW/MB/s","read Lat/usec","read Max_lat/usec","rwtype2","IOPS/k","BW/MB/s","write Lat/usec","write Max_lat/usec"]
for a1 in range(len(a0)):
      ws0.write(0,a1,a0[a1])
#打开并开始写入数据
str1=linecache.getlines("Test_result_file_name.log")
for i in range(len(str1)):
    filename=str1[i].replace('\n','')
    str3=linecache.getlines(filename)
    if len(str3) > 50 or len(str3) < 20:
        pass
    else:
        test_item=filename.split(".",1)[0]
        f9=open("Temp.log","w")
        ws0.write(i+1,0,test_item)
        line0=str3[0].replace(' ','')
        f9.write(line0)
        if len(str3) < 38:
            for m in range(1,len(str3)):
                if 'BW' in str3[m] and 'IOPS' in str3[m]:
                    f9.write(str(str3[m]).replace(' ',''))
                    continue
                if 'clat' in str3[m] and 'percentiles' not in str3[m]:
                    f9.write(str(str3[m]).replace(' ',''))
                    break
            f9.write('0')
            f9.write('\n')
            f9.write('0')
        else:
            for m in range(1,len(str3)):
                if m < 10:
                    if 'BW' in str3[m] and 'IOPS' in str3[m]:
                        f9.write(str(str3[m]).replace(' ',''))
                        continue
                    if 'clat (' in str3[m] and  'percentiles' not in str3[m]:
                        f9.write(str(str3[m]).replace(' ',''))
                        continue
                else:
                    if 'BW' in str3[m] and 'IOPS' in str3[m]:
                        f9.write(str(str3[m]).replace(' ',''))
                        continue
                    if 'clat (' in str3[m] and  'percentiles' not in str3[m]:
                        f9.write(str(str3[m]).replace(' ',''))
                        break
        f9.close()
        str4=linecache.getlines("Temp.log")
        str5=str4[1]
        str6=str4[2]
        str7=str4[3]
        str8=str4[4]
        str_result1=str5.split(":",1)[0]
        str_result2=str7.split(":",1)[0]
        if str_result1 == "read":
            if str_result2 == "write":
                #第一组数据
                ws0.write(i+1,1,str_result1)
                #iops
                str_result3=str5.split(",",1)[0]
                str_result4=str_result3.split("=",1)[1]
                ws0.write(i+1,2,str_result4)
                #bw
                str_result5=str5.split(",",1)[1]
                str_result6=str_result5.split(")(",1)[0]
                str_result7=str_result6.split("(",1)[1]
                ws0.write(i+1,3,str_result7)
                #lat
                str_result8=str6.split("avg=",1)[1]
                str_result9=str_result8.split(",",1)[0]
                str_result10=str6.split("avg=",1)[0]
                str_result11=str_result10.split("(",1)[1]
                str_result12=str_result11.split(")",1)[0]
                ws0.write(i+1,4,str_result9+str_result12)
                #Maxlat
                Maxlat1=str6.split("max=",1)[1]
                Maxlat2=Maxlat1.split(",",1)[0]
                Maxlat3=str6.split(":",1)[0]
                Maxlat4=Maxlat3.split("(",1)[1]
                Maxlat5=Maxlat4.split(")",1)[0]
                ws0.write(i+1,5,Maxlat2+Maxlat5)
                #第二组数据
                ws0.write(i+1,6,str_result2)
                #iops
                str_result13=str7.split(",",1)[0]
                str_result14=str_result13.split("=",1)[1]
                ws0.write(i+1,7,str_result14)
                #bw
                str_result15=str7.split(",",1)[1]
                str_result16=str_result15.split(")(",1)[0]
                str_result17=str_result16.split("(",1)[1]
                ws0.write(i+1,8,str_result17)
                #lat
                str_result18=str8.split("avg=",1)[1]
                str_result19=str_result18.split(",",1)[0]
                str_result20=str8.split("avg=",1)[0]
                str_result21=str_result20.split("(",1)[1]
                str_result22=str_result21.split(")",1)[0]
                ws0.write(i+1,9,str_result19+str_result22)
                #Maxlat
                Maxlat6=str8.split("max=",1)[1]
                Maxlat7=Maxlat6.split(",",1)[0]
                Maxlat8=str8.split(":",1)[0]
                Maxlat9=Maxlat8.split("(",1)[1]
                Maxlat10=Maxlat9.split(")",1)[0]
                ws0.write(i+1,10,Maxlat7+Maxlat10)
                if(os.path.exists("Temp.log")):
                    os.remove("Temp.log")
                else:
                    print("要删除的文件不存在！")
                linecache.updatecache("Temp.log")
                linecache.updatecache(filename)
            else:
                #第一组数据
                #print(str_result1)
                #print(str_result2)
                ws0.write(i+1,1,str_result1)
                #iops
                str_result23=str5.split(",",1)[0]
                str_result24=str_result23.split("=",1)[1]
                ws0.write(i+1,2,str_result24)
                #bw
                str_result25=str5.split(",",1)[1]
                str_result26=str_result25.split(")(",1)[0]
                str_result27=str_result26.split("(",1)[1]
                ws0.write(i+1,3,str_result27)
                #lat
                str_result28=str6.split("avg=",1)[1]
                str_result29=str_result28.split(",",1)[0]
                str_result30=str6.split("avg=",1)[0]
                str_result31=str_result30.split("(",1)[1]
                str_result32=str_result31.split(")",1)[0]
                ws0.write(i+1,4,str_result29+str_result32)
                #Maxlat
                Maxlat11=str6.split("max=",1)[1]    
                Maxlat12=Maxlat11.split(",",1)[0]
                Maxlat13=str6.split(":",1)[0]
                Maxlat14=Maxlat13.split("(",1)[1]
                Maxlat15=Maxlat14.split(")",1)[0]
                ws0.write(i+1,5,Maxlat12+Maxlat15)
                #第二组数据
                ws0.write(i+1,6,0)
                #iops
                ws0.write(i+1,7,0)
                #bw
                ws0.write(i+1,8,0)
                #lat
                ws0.write(i+1,9,0)
                #Maxlat
                ws0.write(i+1,10,0)
                if(os.path.exists("Temp.log")):
                    os.remove("Temp.log")
                else:
                    print("要删除的文件不存在！")
                linecache.updatecache("Temp.log")
                linecache.updatecache(filename)
        else:
            ws0.write(i+1,1,0)
            #iops
            ws0.write(i+1,2,0)
            #bw
            ws0.write(i+1,3,0)
            #lat
            ws0.write(i+1,4,0)
            #Maxlat
            ws0.write(i+1,5,0)
            #第二组数据
            ws0.write(i+1,6,str_result1)
            #iops
            str_result33=str5.split(",",1)[0]
            str_result34=str_result33.split("=",1)[1]
            ws0.write(i+1,7,str_result34)
            #bw
            str_result35=str5.split(",",1)[1]
            str_result36=str_result35.split(")(",1)[0]
            str_result37=str_result36.split("(",1)[1]
            ws0.write(i+1,8,str_result37)
            #lat
            str_result38=str6.split("avg=",1)[1]
            str_result39=str_result38.split(",",1)[0]
            str_result40=str6.split("avg=",1)[0]
            str_result41=str_result40.split("(",1)[1]
            str_result42=str_result41.split(")",1)[0]
            ws0.write(i+1,9,str_result39+str_result42)
            #Maxlat
            Maxlat16=str6.split("max=",1)[1]
            Maxlat17=Maxlat16.split(",",1)[0]
            Maxlat18=str6.split(":",1)[0]
            Maxlat19=Maxlat18.split("(",1)[1]
            Maxlat20=Maxlat19.split(")",1)[0]
            ws0.write(i+1,10,Maxlat17+Maxlat20)
            linecache.updatecache("Temp.log")
            linecache.updatecache(filename)
            if(os.path.exists("Temp.log")):
                os.remove("Temp.log")
            else:
                print("要删除的文件不存在！")
            linecache.updatecache("Temp.log")
            linecache.updatecache(filename)
wb0.save('Performance_test_result.xlsx')
wbb0=xlrd.open_workbook('Performance_test_result.xlsx')
wss0=wbb0.sheets()[0]
Nrows=wss0.nrows
Ncols=wss0.ncols
wbb=copy(wbb0)
wss=wbb.get_sheet(0)
for i in range(1,Nrows):
    for m in range(1,Ncols):
        if m in [0,1,6]:
            n=wss0.cell(i,m).value
            wss.write(i,m,n)
        elif m in [2,7]:
            iops=wss0.cell(i,m).value
            if 'k' in str(iops):
                iops=str(iops).replace('k','')
            elif 'k' not in str(iops):
                iops=round(int(iops)/1000,2)
            wss.write(i,m,iops)
        elif m in [3,8]:
            bw=wss0.cell(i,m).value
            if 'MB/s' in str(bw):
                bw=str(bw).replace('MB/s','')
            elif 'KB/s' in str(bw):
                bw1=str(bw).replace('KB/s','')
                bw=round(float(bw1)/1024,2)
            elif 'GB/s' in str(bw):
                bw1=str(bw).replace('GB/s','')
                bw=round(float(bw1)*1024,2)
            wss.write(i,m,bw)
        else:
            lat=wss0.cell(i,m).value
            if 'usec' in str(lat) :
                lat=str(lat).replace('usec','')
            elif 'knsec' in str(lat) :
                lat=str(lat).replace('knsec','')
            elif 'nsec' in str(lat):
                lat1=str(lat).replace('nsec','')
                lat=round(float(lat1)/1000,2)
            elif 'msec' in str(lat):
                lat1=str(lat).replace('msec','')
                lat=round(float(lat1)*1000,2)
            wss.write(i,m,lat)
wbb.save('Performance_test_result1.xls')
os.remove("Performance_test_result.xlsx")
os.remove("filedir.log")
os.remove("filelist0.log")
os.remove("filelist1.log")
os.remove("Test_result_file_name.log")
jimfg2010
关注
  • 5
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
fio_tests:用于自动化 fio 测试的 Python 脚本
06-09
fio_tests 用于自动化 fio 测试的 Python 脚本
python学习-120-实现Fio结果自动化批量提取测试结果到CSV
流花飞羽的专栏
07-25 1117
无论是做运维工程师还是测试工程师，都会接触到磁盘性能读写测试的工作，它是来监测使用的硬件服务器的存储性能是否良好。汇总测试结果就成了测试工程师的难题。结语通过python语言的强大功能，主要是采用字符串截取，提取位置，提取数据的方式，实现了fio测试结果的提取，并转存为csv文件。......
Linux下Python脚本的编写解析fio测试log(四)
weixin_43841091的博客
06-06 1429
服务器与SSD兼容性测试 ，高级测试工程师必备技能
Linux下Python脚本的编写解析fio(minimal格式)(三)
weixin_43841091的博客
02-17 1568
服务器测试 SSD HDD测试 Linux shell Python 服务器 存储行业必备的测试技能
shell处理多盘跑fio(minimal)的结果脚本编写
weixin_43841091的博客
01-18 2196
Linux 服务器测试 storage 测试 高级测试工程师
fio服务器磁盘测试结果-样例
07-25
使用fio工具对服务器的磁盘做性能测试，通常会使用到fio工具，该资源就是fio结果的一个样例，主要是搭配我的博客使用
Python库 | fio_production_report-3.4.2.2.tar.gz
03-07
《Python库fio_production_report-3.4.2.2详解》 在IT行业中，Python以其简洁、易读的语法和强大的库支持成为了开发人员的首选语言之一。本篇文章将聚焦于一个名为“fio_production_report”的Python库，具体版本为...
Python库 | fio_amazon_mws-3.4.11.4.tar.gz
05-15
资源分类：Python库 所属语言：Python 资源全名：fio_amazon_mws-3.4.11.4.tar.gz 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059
Python库 | fio_sale_channel-3.4.15.2.tar.gz
05-15
资源分类：Python库 所属语言：Python 资源全名：fio_sale_channel-3.4.15.2.tar.gz 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059
python自动测试f_Python自动化测试PO模式
weixin_39697660的博客
12-08 109
"""用于解析配置文件，并获取页面元素定位表达式"""#-*- coding: utf-8 -*-#@Time: 2019/2/26 11:43#@Author : Yang DaWei#@Project : LeadsCloudAutomation#@FileName: ParseElementLocator.pyfrom configparser importConfigParserfrom ...
shell通过fio工具进行磁盘性能测试
doctorxusong的博客
04-19 1016
shell通过fio工具进行磁盘性能测试，测试方式含顺序、随机、读、写、读写，shell脚本一键执行！
python中多线程运行shell cmd，并且管理线程执行进度
weixin_44517278的博客
06-06 946
python3,多线程，shell cmd,管理线程
python中运行if函数的耗时测试
chkbxz的博客
04-27 1770
最近给树莓派的ups配置低电量自动关机程序，发现if函数的执行时间会影响检测效果，于是好奇宝宝打算测测if函数的耗时。
测试磁盘fio性能
qq_39408519的博客
06-21 1543
#1.按顺序测试裸盘性能（包括1m随机读、1m顺序读、1m顺序写，128k随机读、128k顺序读、128k顺序写、4k随机读、4k随机写 #2.测试1、32深度、每个测试5分钟 3.保存完整的测试结果至/sf/log/vs/vst_perf/路径下 #4.精简结果也保存在/sf/log/vs/vst_perf/vst_diskPerf_fio中 #5. 对于混合读写，如果没有指定rwmixread或者rwmixwrite， 混合比例默认是50 #6. 对于precondition, 如果没有指......
如何在Linux系统下执行fio测速脚本
最新发布
weixin_46265546的博客
10-19 985
fio（Flexible I/O Tester）是一个用于评估和测试存储系统性能的强大工具，它可以使用脚本配置各种 I/O 工作负载。以下是一个简单的 fio 脚本示例，用于执行一个随机读取的测试任务：
第10章 python多任务-协程
weixin_38027481的博客
01-21 115
同步、异步 同步:是指代码调用IO操作时,必须等待IO操作完成才返回的调用方式 异步:是指代码调用IO操作时,不必等IO操作完成就返回的调用方式 阻塞、非阻塞 阻塞:从调用者的角度出发，如果在调用的时候，被卡住，不能再继续向下运行，需要等待，就说是阻塞 非阻塞:从调用者的角度出发， 如果在调用的时候，没有被卡住，能够继续向下运行，无需等待，就说是非阻塞 1、生成器-send方法 send方...
fio测试及自动画图
NLP家的码奴小荷的博客
05-27 9797
fio测试，及测试数据自动画图
fio性能测试-环境搭建，功能介绍，测试讲解
qq_40088484的博客
04-13 928
Fio介绍：FIO（Flexible I/O Tester）是一个用于测试磁盘、文件系统、块设备和网络设备性能的工具。FIO提供了丰富的选项和参数，可以对测试进行高度定制化配置，以满足各种应用场景和需求。libaio-devel是依赖包，如不安装fio无法使用，会报错：fio: engine libaio not loadable fio: failed to load engine。我这里写了一个脚本，会自动生成测试日志，有需要的同学，可以关注我，我发给你。查看是否安装成功：fio –v。
fio的高级用法(锁定带宽，IOPS ,跳跃，混合，画图)
weixin_43841091的博客
10-31 3686
Server 测试 or SSD 测试必备技能。 高级工程师必备技能。
FIO测试硬盘都看哪些结果数值
06-02
在 FIO 测试硬盘时，主要需要关注以下几个结果数值： 1. IOPS：IOPS 是指每秒钟的输入/输出操作数，反映了硬盘的读写能力。在 FIO 测试中，可以通过测试结果中的 iops 字段来查看 IOPS 的数值。 2. 带宽：带宽是指硬盘的传输速率，反映了硬盘的数据传输能力。在 FIO 测试中，可以通过测试结果中的 bw 字段来查看带宽的数值。 3. 延迟：延迟是指硬盘的响应时间，即从发送请求到收到响应的时间，反映了硬盘的响应速度。在 FIO 测试中，可以通过测试结果中的 lat 字段来查看延迟的数值。 4. 随机性能和顺序性能：随机性能和顺序性能分别表示硬盘在随机读写和顺序读写的情况下的性能表现。在 FIO 测试中，可以通过测试结果中的 randread、randwrite、read、write 等字段来查看随机性能和顺序性能的数值。 5. CPU 占用率：在 FIO 测试中，可以通过 top 命令等工具来查看测试过程中的 CPU 占用率，以及测试过程中的 CPU 温度等指标，来评估系统的稳定性和可靠性。 需要注意的是，FIO 测试是一种基准测试，其测试结果只是一个参考标准，实际的应用场景和工作负载会有所不同，需要根据具体的应用场景和需求来进行评估。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值