Linux下Python脚本的编写解析fio(minimal格式)(三)

已于 2023-10-09 12:42:58 修改
阅读量1.4k 收藏 4
点赞数 1
分类专栏： SSD测试 代码 文章标签： linux python bash
于 2023-02-17 20:30:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43841091/article/details/129089853
版权

在服务器测试(storage)过程中，会看到很多人写跑fio的脚本用minimal格式来解析，因为这种格式返回的结果对与脚本(shell,python)解析log非常方便.下面介绍一下这种方式下,用Python来解析log
1 一般客户会要求结果中出现一下参数的值：
bandwidth
iops
clat_p99
clat_p999
clat_p9999
lat_max
lat_avg
那么就要知道这些参数的下标：

7  read_bandwidth_kb   带宽值
 8  read_iops                     IOPS值
30  read_clat_pct13    p99的值
32  read_clat_pct15  p999的值
34  read_clat_pct17   p9999的值
39  read_lat_max_us       lat  max值
40  read_lat_mean_us    lat平均值

48  write_bandwidth_kb   带宽值
49  write_iops                     IOPS值
71  write_clat_pct13      p99值
73  write_clat_pct15      p999的值
75  write_clat_pct17       p9999的值
80  write_lat_max_us     lat最大值
81  write_lat_mean_us   lat平均值

2 先写一个跑fio的脚本，以英特尔的P5520 nvme 盘为例子吧
因为我们只跑顺序，所以就不需要做预处理了哈

#!/bin/bash
if [ $# != 2 ]; then
	echo "You must input  the time of each testcase (unit is second)"
	exit -1
fi
nvme=$1
time=$2
date
echo " sequential   write  test start"
for ioengine in libaio 
do
for rw  in   write  
do
        for bs in 128k  
do
        for iodepth in 16 
do
        for jobs in 1  
do	    
        date  
        echo "$hdd $rw $bs iodepth=$iodepth numjobs=$jobs  test satrt"
        job_name="${ioengine}_${bs}B_${rw}_${jobs}job_${iodepth}QD"
        fio  --name=$job_name  --filename=/dev/$nvme --ioengine=${ioengine} --direct=1 --thread=1 --numjobs=${jobs} --iodepth=${iodepth} --rw=${rw} --bs=${bs} --runtime=$time --time_based=1  --size=100% --group_reporting  --minimal  >>${nvme}_write.log        
done        
done
done
done
done
echo " sequential   read  test start"
for ioengine in libaio 
do
for rw  in   read  
do
        for bs in 128k  
do
        for iodepth in 16 
do
        for jobs in 1  
do	    
        date  
        echo "$hdd $rw $bs iodepth=$iodepth numjobs=$jobs  test satrt"
        job_name="${ioengine}_${bs}B_${rw}_${jobs}job_${iodepth}QD"
        fio  --name=$job_name  --filename=/dev/$nvme --ioengine=${ioengine} --direct=1 --thread=1 --numjobs=${jobs} --iodepth=${iodepth} --rw=${rw} --bs=${bs} --runtime=$time --time_based=1  --size=100% --group_reporting  --minimal  >>${nvme}_read.log        
done        
done
done
done
done
echo " sequential   mix  test"
date
for ioengine in libaio 
do
for rw in rw 
do
for mixread in 80  
do
for blk_size in 1024k  
do
for jobs in 1 
do
for queue_depth in  16 
do      
			job_name="${ioengine}_${rw}_${blk_size}B_mix_read${mixread}_${jobs}job_QD${queue_depth}"
     	    echo "$hdd $job_name  test satrt"
			fio --name=${job_name} --filename=/dev/$nvme --ioengine=libaio --direct=1 --thread=1 --numjobs=${jobs} --iodepth=${queue_depth} --rw=${rw} --bs=${blk_size} --rwmixread=$mixread --runtime=$time --time_based=1 --size=100% --group_reporting  --minimal >> "$nvme"_mix_data.log
done
done
done
done
done
done
mkdir $nvme
mkdir $nvme/test_data
mkdir $nvme/test_log
mv $nvme*.log   $nvme/test_log
mv $nvme*.csv    $nvme/test_data
echo "test has been finsished"

执行一下这脚本如下：
bash fio.sh nvme2n1 10
以混合mix的log为例，先看下这个log

root@bytedance:/home/csdn/nvme2n1/test_log# cat nvme2n1_mix_data.log
3;fio-3.33;libaio_rw_1024kB_mix_read80_1job_QD16;0;0;2363392;235163;229;10050;13;67;30.704325;9.349805;40273;89971;53092.300995;4951.654762;1.000000%=43778;5.000000%=45875;10.000000%=47448;20.000000%=49020;30.000000%=50069;40.000000%=51642;50.000000%=52690;60.000000%=53739;70.000000%=55312;80.000000%=56885;90.000000%=59506;95.000000%=61603;99.000000%=64225;99.500000%=65798;99.900000%=86507;99.950000%=87556;99.990000%=89653;0%=0;0%=0;0%=0;40309;89994;53123.005321;4951.633129;186368;272384;99.934088%;235008.000000;20316.314295;609280;60624;59;10050;20;87;51.591739;12.444604;50703;113342;63317.704111;5518.856446;1.000000%=53215;5.000000%=54788;10.000000%=56360;20.000000%=58982;30.000000%=60555;40.000000%=61603;50.000000%=63176;60.000000%=64749;70.000000%=65798;80.000000%=67633;90.000000%=70778;95.000000%=71827;99.000000%=74973;99.500000%=76021;99.900000%=113770;99.950000%=113770;99.990000%=113770;0%=0;0%=0;0%=0;50745;113381;63369.295850;5518.110925;49152;75776;100.000000%;60723.200000;6977.609858;0.308488%;1.194149%;2846;0;1;0.1%;0.1%;0.1%;0.3%;99.5%;0.0%;0.0%;0.00%;0.00%;0.00%;0.00%;0.00%;0.00%;0.00%;0.00%;0.00%;0.00%;0.00%;0.00%;0.00%;0.00%;22.74%;77.23%;0.03%;0.00%;0.00%;0.00%;0.00%;0.00%;nvme2n1;2599;21180;0;0;137065;1316093;1441336;100.00%
root@bytedance:/home/csdn/nvme2n1/test_log#

3 下面开始用Python来解析这个log，我们需要用到Python中文件函数open，调用两个模块sys和argparse模块 如下：

#!/usr/bin/python
import argparse
import sys
inputfile = sys.argv[1]   
resultfile = sys.argv[2] 
rwm = sys.argv[3]

sys.argv[n]是传递Python脚本的第几个参数，这里我主要用到三个参数：
inputfile :代表要打开的fio log文件
resultfile：代表要输出的解析结果
rwm: 代表read.write,mix三种读写模式
(1)下面用open函数来处理一下sdb_mix_data.log
先用换行符进行分割，因为总共有4个workload，也就是4个换行，分割之后，列表里就会有5个元素第5个元素为空，需要用函数pop(-1)去掉最后一个元素空

#!/usr/bin/python
import argparse
import sys   
inputfile = "nvme2n1_mix_data.log"  
resultfile = "nvme2n1_mix.csv" 
rwm = "read" 
datastr = open(inputfile).read()
data = datastr.split('\n')
data.pop(-1)
print "len(data)"

执行结果：
在这里插入图片描述
(2) 第二步就是用open函数write一个输出表格 如下：

#!/usr/bin/python
import argparse
import sys    
inputfile = "nvme2n1_mix_data.log"  
resultfile = "nvme2n1_mix.csv" 
rwm = "read" 
datastr = open(inputfile).read()
data = datastr.split('\n')
data.pop(-1)
if rwm == "read":
        f=open(resultfile,"a")
        f.write("workload,bandwith(kb/s),IOPS,lat-avg(us),Qos(us) 99%,Qos(us) 99_9%, Qos(us) 99_99%,lat-max(us)\n")
        f.close()

生成表格如下：
在这里插入图片描述
(3)第三步 就是把log的数据追加到CSV里

#!/usr/bin/python
import argparse
import sys    
inputfile = "nvme2n1_mix_data.log"  
resultfile = "nvme2n1_mix.csv" 
rwm = "read" 
datastr = open(inputfile).read()
data = datastr.split('\n')
data.pop(-1)
if rwm == "read":
        f=open(resultfile,"a")
        f.write("workload,bandwith(kb/s),IOPS,lat-avg(us),Qos(us) 99%,Qos(us) 99_9%, Qos(us) 99_99%,lat-max(us)\n")
        f.close()
        for i in data:
            oneCaseList = i.split(";")
            caseName = oneCaseList[2]
            oneCaseRes = caseName +  "," + oneCaseList[6] + "," + oneCaseList[7] + "," + oneCaseList[39].split(".")[0] + "," + oneCaseList[29].split("=")[1] + "," + oneCaseList[31].split("=")[1] + "," + oneCaseList[33].split("=")[1] + "," +  oneCaseList[38].split(".")[0] + "\n"
            f = open(resultfile,"a")
            f.write(oneCaseRes)
            f.close()

结果如下图：
在这里插入图片描述
(4)这个是read的数据，下面看看write的数据

#!/usr/bin/python
import argparse
import sys    
inputfile = "nvme2n1_mix_data.log"  
resultfile = "nvme2n1_mix.csv" 
rwm = "write" 
datastr = open(inputfile).read()
data = datastr.split('\n')
data.pop(-1)
if rwm == "read":
        f=open(resultfile,"a")
        f.write("workload,bandwith(kb/s),IOPS,lat-avg(us),Qos(us) 99%,Qos(us) 99_9%, Qos(us) 99_99%,lat-max(us)\n")
        f.close()
        for i in data:
            oneCaseList = i.split(";")
            caseName = oneCaseList[2]
            oneCaseRes = caseName +  "," + oneCaseList[6] + "," + oneCaseList[7] + "," + oneCaseList[39].split(".")[0] + "," + oneCaseList[29].split("=")[1] + "," + oneCaseList[31].split("=")[1] + "," + oneCaseList[33].split("=")[1] + "," +  oneCaseList[38].split(".")[0] + "\n"
            f = open(resultfile,"a")
            f.write(oneCaseRes)
            f.close()
if rwm == "write":
        f=open(resultfile,"a")
        f.write("workload,bandwith(kb/s),IOPS,lat-avg(us),Qos(us) 99%,Qos(us) 99_9%, Qos(us) 99_99%,lat-max(us)\n")
        f.close()
        for i in data:
            oneCaseList = i.split(";")
            caseName = oneCaseList[2]
            oneCaseRes = caseName +  ","  + oneCaseList[47] + "," + oneCaseList[48] + "," + oneCaseList[80] + "," + oneCaseList[70].split(".")[0] + "," + oneCaseList[72].split("=")[1] + "," + oneCaseList[74].split("=")[1]  + "," +  oneCaseList[79].split(".")[0] + "\n"
            f = open(resultfile,"a")
            f.write(oneCaseRes)
            f.close()

结果如下：
在这里插入图片描述
(5) 因为是读写混合数据，是要把read和write的数据放在同一个CSV里边的 如下：

#!/usr/bin/python
import argparse
import sys    
inputfile = "nvme2n1_mix_data.log"  
resultfile = "nvme2n1_mix.csv" 
rwm = "mix" 
datastr = open(inputfile).read()
data = datastr.split('\n')
data.pop(-1)
if rwm == "read":
        f=open(resultfile,"a")
        f.write("workload,bandwith(kb/s),IOPS,lat-avg(us),Qos(us) 99%,Qos(us) 99_9%, Qos(us) 99_99%,lat-max(us)\n")
        f.close()
        for i in data:
            oneCaseList = i.split(";")
            caseName = oneCaseList[2]
            oneCaseRes = caseName +  "," + oneCaseList[6] + "," + oneCaseList[7] + "," + oneCaseList[39].split(".")[0] + "," + oneCaseList[29].split("=")[1] + "," + oneCaseList[31].split("=")[1] + "," + oneCaseList[33].split("=")[1] + "," +  oneCaseList[38].split(".")[0] + "\n"
            f = open(resultfile,"a")
            f.write(oneCaseRes)
            f.close()
if rwm == "write":
        f=open(resultfile,"a")
        f.write("workload,bandwith(kb/s),IOPS,lat-avg(us),Qos(us) 99%,Qos(us) 99_9%, Qos(us) 99_99%,lat-max(us)\n")
        f.close()
        for i in data:
            oneCaseList = i.split(";")
            caseName = oneCaseList[2]
            oneCaseRes = caseName +  ","  + oneCaseList[47] + "," + oneCaseList[48] + "," + oneCaseList[80] + "," + oneCaseList[70].split(".")[0] + "," + oneCaseList[72].split("=")[1] + "," + oneCaseList[74].split("=")[1]  + "," +  oneCaseList[79].split(".")[0] + "\n"
            f = open(resultfile,"a")
            f.write(oneCaseRes)
            f.close()
if rwm == "mix":
        f=open(resultfile,"a")
        f.write("workload,read,bandwith(kb/s),IOPS,Lantency(us),Qos(us) 99%,Qos(us) 99_9%, Qos(us) 99_99%,lat-max(us),write,bandwith(kb/s),IOPS,Lantency(us),Qos(us) 99%,Qos(us) 99_9%, Qos(us) 99_99%, lat-max(us)\n")
        f.close()
        for i in data:
            oneCaseList = i.split(";")
            caseName = oneCaseList[2]
            oneCaseRes = caseName +  "," + "read" + "," + oneCaseList[6] + "," + oneCaseList[7] + "," + oneCaseList[39] + "," + oneCaseList[29].split(".")[0] + "," + oneCaseList[31].split("=")[1] + "," + oneCaseList[33].split("=")[1]  + "," +  oneCaseList[38].split(".")[0] + "," + "write" + "," + oneCaseList[47] + "," + oneCaseList[48] + "," + oneCaseList[80] + "," + oneCaseList[70].split(".")[0] + "," + oneCaseList[72].split("=")[1] + "," + oneCaseList[74].split("=")[1]  + "," +  oneCaseList[79].split(".")[0] + "\n"
            f = open(resultfile,"a")
            f.write(oneCaseRes)
            f.close()

结果如下图：
在这里插入图片描述
(6) 把三个参数(inputfile , resultfile ,rwm )写进函数里 最终的Python脚本如下:

#!/usr/bin/python
import argparse
import sys
def fiodata(inputFile, resultFile,rwm):
    datastr = open(inputfile).read()
    data = datastr.split('\n')
    data.pop(-1)
    if rwm == "read":
        f=open(resultfile,"a")
        f.write("workload,bandwith(kb/s),IOPS,lat-avg(us),Qos(us) 99%,Qos(us) 99_9%, Qos(us) 99_99%,lat-max(us)\n")
        f.close()
        for i in data:
            oneCaseList = i.split(";")
            caseName = oneCaseList[2]
            oneCaseRes = caseName +  "," + oneCaseList[6] + "," + oneCaseList[7] + "," + oneCaseList[39].split(".")[0] + "," + oneCaseList[29].split("=")[1] + "," + oneCaseList[31].split("=")[1] + "," + oneCaseList[33].split("=")[1] + "," +  oneCaseList[38].split(".")[0] + "\n"
            f = open(resultfile,"a")
            f.write(oneCaseRes)
            f.close()
    if rwm == "write":
        f=open(resultfile,"a")
        f.write("workload,bandwith(kb/s),IOPS,lat-avg(us),Qos(us) 99%,Qos(us) 99_9%, Qos(us) 99_99%,lat-max(us)\n")
        f.close()
        for i in data:
            oneCaseList = i.split(";")
            caseName = oneCaseList[2]
            oneCaseRes = caseName +  ","  + oneCaseList[47] + "," + oneCaseList[48] + "," + oneCaseList[80] + "," + oneCaseList[70].split(".")[0] + "," + oneCaseList[72].split("=")[1] + "," + oneCaseList[74].split("=")[1]  + "," +  oneCaseList[79].split(".")[0] + "\n"
            f = open(resultfile,"a")
            f.write(oneCaseRes)
            f.close()
    if rwm == "mix":
        f=open(resultfile,"a")
        f.write("workload,read,bandwith(kb/s),IOPS,Lantency(us),Qos(us) 99%,Qos(us) 99_9%, Qos(us) 99_99%,lat-max(us),write,bandwith(kb/s),IOPS,Lantency(us),Qos(us) 99%,Qos(us) 99_9%, Qos(us) 99_99%, lat-max(us)\n")
        f.close()
        for i in data:
            oneCaseList = i.split(";")
            caseName = oneCaseList[2]
            oneCaseRes = caseName +  "," + "read" + "," + oneCaseList[6] + "," + oneCaseList[7] + "," + oneCaseList[39] + "," + oneCaseList[29].split(".")[0] + "," + oneCaseList[31].split("=")[1] + "," + oneCaseList[33].split("=")[1]  + "," +  oneCaseList[38].split(".")[0] + "," + "write" + "," + oneCaseList[47] + "," + oneCaseList[48] + "," + oneCaseList[80] + "," + oneCaseList[70].split(".")[0] + "," + oneCaseList[72].split("=")[1] + "," + oneCaseList[74].split("=")[1]  + "," +  oneCaseList[79].split(".")[0] + "\n"
            f = open(resultfile,"a")
            f.write(oneCaseRes)
            f.close()
    
inputfile = sys.argv[1]   
resultfile = sys.argv[2] 
rwm = sys.argv[3] 
fiodata(inputfile,resultfile,rwm)

4 接下来需要在shell脚本里调用Python脚本 如下：

#!/bin/bash
if [ $# != 2 ]; then
	echo "You must input  the time of each testcase (unit is second)"
	exit -1
fi
nvme=$1
time=$2
date
echo " sequential   write  test start"
for ioengine in libaio 
do
for rw  in   write  
do
        for bs in 128k  256k
do
        for iodepth in 16 
do
        for jobs in 1  
do	    
        date  
        echo "$hdd $rw $bs iodepth=$iodepth numjobs=$jobs  test satrt"
        job_name="${ioengine}_${bs}B_${rw}_${jobs}job_${iodepth}QD"
        fio  --name=$job_name  --filename=/dev/$nvme --ioengine=${ioengine} --direct=1 --thread=1 --numjobs=${jobs} --iodepth=${iodepth} --rw=${rw} --bs=${bs} --runtime=$time --time_based=1  --size=100% --group_reporting  --minimal  >>${nvme}_write.log        
done        
done
done
done
done
python3 min.py ${nvme}_write.log  ${nvme}_rw_write.csv  write
echo " sequential   read  test start"
for ioengine in libaio 
do
for rw  in   read  
do
        for bs in 128k  256k
do
        for iodepth in 16 
do
        for jobs in 1  
do	    
        date  
        echo "$hdd $rw $bs iodepth=$iodepth numjobs=$jobs  test satrt"
        job_name="${ioengine}_${bs}B_${rw}_${jobs}job_${iodepth}QD"
        fio  --name=$job_name  --filename=/dev/$nvme --ioengine=${ioengine} --direct=1 --thread=1 --numjobs=${jobs} --iodepth=${iodepth} --rw=${rw} --bs=${bs} --runtime=$time --time_based=1  --size=100% --group_reporting  --minimal  >>${nvme}_read.log        
done        
done
done
done
done
python3 min.py ${nvme}_read.log  ${nvme}_rw_read.csv  read
echo " sequential   mix  test"
date
for ioengine in libaio 
do
for rw in rw 
do
for mixread in 80  20
do
for blk_size in 1024k  
do
for jobs in 1 
do
for queue_depth in  16 
do      
			job_name="${ioengine}_${rw}_${blk_size}B_mix_read${mixread}_${jobs}job_QD${queue_depth}"
     	    echo "$hdd $job_name  test satrt"
			fio --name=${job_name} --filename=/dev/$nvme --ioengine=libaio --direct=1 --thread=1 --numjobs=${jobs} --iodepth=${queue_depth} --rw=${rw} --bs=${blk_size} --rwmixread=$mixread --runtime=$time --time_based=1 --size=100% --group_reporting  --minimal >> "$nvme"_mix_data.log
done
done
done
done
done
done
python3 min.py "$nvme"_mix_data.log  ${nvme}_rw_mix.csv  mix
mkdir $nvme
mkdir $nvme/test_data
mkdir $nvme/test_log
mv $nvme*.log   $nvme/test_log
mv $nvme*.csv    $nvme/test_data
echo "test has been finsished"

5 OK 到这里测试脚本已经完成，测试一下：
bash fio.sh nvme2n1 10 (跑一个workload 10秒钟)
结果如下：
read的结果
在这里插入图片描述

write的结果
在这里插入图片描述

混合结果

在这里插入图片描述

漉水浮沙
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
专栏目录
fio_minimal_csv_header:fio --minimal 输出的字段名称
06-12
fio_minimal_csv_header 此存储库包含 fio 的 --minimal 输出的字段名称。 如果在测试中使用了许多驱动器，则最后一个字段 (disk_*) 可能会出现多次。 我使用了一些缩写，对于完整的字段名称，请参见简洁输出”部分）
python之optparse模块
zyc_love_study的博客
07-10 1302
optparse是python非常常用的一个内建模块,用于处理命令参数.最简单和经典的一个例子:$cat ./optparse1.py #!/usr/bin/python # -*- coding: UTF-8-*- from optparse import OptionParser parser= OptionParser() parser.add_option("-f","--file", ...
KB,Kb单位换算，网络带宽中的Kbps和KB/s到底是什么意思？
weixin_33971205的博客
09-16 1334
B是指字节（Byte）1个字节有8个比特组成b是指比特（bit）代表一个2进制位（值为0或1）    上过网的朋友应该会听说过网络带宽这个词，可是这个网络带宽的单位到底是什么，为什么有的人说Kbps，而有的说KB/s，到底是什么意思呢？今天就帮大家理理清楚这里边的关系。     这里以电信ADSL来打比方，一般我们去电信申请ADSL上网，工作人员会告诉我们申请的ADSL带宽是1M，这里的1M...
利用Python3.4+收集fio 测试结果
Morgan_fang1的博客
07-31 1182
因目前fio内置无批量收集测试结果的功能，如果简单的测试（测试结果100个文件以下），可以手动收集结果，但是如果大于100个log文件，处理起来会非常麻烦。 1.本文脚本运行环境： 1.1在windows X系统； 1.2.python3.4+。 2.用法： 2.1测试fio脚本输出的log必须要有‘k’ or ‘K’为名称； 2.2把此py内容拷贝到新建py文件中； 2...
跟我学Linux系列1：正确认识和使用一块RAID卡都需要掌握Linux服务器系统配件选型的哪些知识
watermelonbig的专栏
04-27 2777
1、存储器的层次结构知识我们从上往下说。操作系统中的存储器构成了一个金字塔，越往上的存储器速度越快，但是价格也越贵,所以也就越小。为了解决高速的处理器和低速的存储器之间的矛盾，上一层的存储器作为下一层存储器的缓存。（1）CPU缓存在现代的CPU（大多数）上，所有的内存访问都需要通过层层的缓存来进行。CPU的读/写（以及取指令）单元正常情况下甚至都不能直接访问内存——这是物理结构决定的；CPU都没有...
[python]（16）———I/0流
qq_42115732的博客
02-21 124
I/O 流:输入流/输出流 I(input)/O(output) I存在硬盘里 def open(file, mode='r', buffering=None, encoding=None, errors=None, newline=None, closefd=True): 文件操作 代码 功能 r 只读方式打开文件。文件指针放在开头。 rb 以二进制格式打开一个文件用于只读...
shell处理多盘跑fio(minimal)的结果脚本编写
weixin_43841091的博客
01-18 2032
Linux 服务器测试 storage 测试 高级测试工程师
Linux下Python脚本的编写解析fio测试log(四)
weixin_43841091的博客
06-06 1259
服务器与SSD兼容性测试 ，高级测试工程师必备技能
多个nvme进行fio读写时按时reset的测试写法
weixin_43841091的博客
03-21 1312
今天看到了一个有意思的测试case，如下： 对所有的nvme待测盘进行4K随机读写24小时，分别隔8,4,2个小时，对盘进行3次reset，观察盘的读写是否会停止。 话不多说，我们直接开始写这个测试脚本。 1.首先我们遍历出所有的待测nvme盘符，方法有很多种(参考我之前的文章) nvme list|awk '{print $1}'|sed 1,2d|awk -F "/" '{print $NF}' nvme3n1 nvme2n1 nvme0n1 nvme1n1 nvme6n1 nvme4n1 nvme5
shell通过fio工具进行磁盘性能测试
doctorxusong的博客
04-19 854
shell通过fio工具进行磁盘性能测试，测试方式含顺序、随机、读、写、读写，shell脚本一键执行！
fio_tests:用于自动化 fio 测试的 Python 脚本
06-09
fio_tests 用于自动化 fio 测试的 Python 脚本
微服务之限流篇
zheng45的博客
10-30 3022
  话说在 Spring Cloud Gateway 问世之前，Spring Cloud 的微服务世界里，网关一定非 Netflix Zuul 莫属。但是由于 Zuul 1.x 存在的一些问题，比如阻塞式的 API，不支持 WebSocket 等，一直被人所诟病，而且 Zuul 升级新版本依赖于 Netflix 公司，经过几次跳票之后，Spring 开源社区决定推出自己的网关组件，替代 Netflix Zuul。   从 18 年 6 月 Spring Cloud 发布的 Finchley 版本开始，Spr
这可能是全网Spring Cloud Gateway限流最完整的方案了！
Java笔记虾
09-30 8041
作者：aneasystone https://www.aneasystone.com/话说在 Spring Cloud Gateway 问世之前，Spring Cloud ...
监控调优工具详细参数整理
weixin_30780221的博客
07-09 681
系统性能分析标准性能影响因素 好 坏 糟糕CPU user%+sys%<70% user%+sys%=85% user%+sys%>=90%内存 Swap In(si)=0 Per CPU with 10page/s More Swap In & Swap Out Swap Out...
Python对CSV文件的一些处理方法(读取数据与数据预处理)
热门推荐
Zhong_ty的博客
03-19 3万+
Python对CSV文件的一些处理方法 该文将在jupyter notebook平台对已给csv数据进行处理。使用python3.8。用到的库有numpy,pandas,seaborn,matplotlib 文章目录Python对CSV文件的一些处理方法目标读入数据数据预处理合并数据集数据清洗缺失值检查异常值处理数据集成数据变换数据均衡处理 目标 提供linpack、mlc、tpc、fio四个场景下所采集的数据，这些数据未作任何处理。进行数据预处理操作，并设计一个简单的分类模型，实现以上四个场景的分类功能。
测试磁盘fio性能
qq_39408519的博客
06-21 1502
#1.按顺序测试裸盘性能（包括1m随机读、1m顺序读、1m顺序写，128k随机读、128k顺序读、128k顺序写、4k随机读、4k随机写 #2.测试1、32深度、每个测试5分钟 3.保存完整的测试结果至/sf/log/vs/vst_perf/路径下 #4.精简结果也保存在/sf/log/vs/vst_perf/vst_diskPerf_fio中 #5. 对于混合读写，如果没有指定rwmixread或者rwmixwrite， 混合比例默认是50 #6. 对于precondition, 如果没有指......
如何在Linux系统下执行fio测速脚本
最新发布
weixin_46265546的博客
10-19 744
fio（Flexible I/O Tester）是一个用于评估和测试存储系统性能的强大工具，它可以使用脚本配置各种 I/O 工作负载。以下是一个简单的 fio 脚本示例，用于执行一个随机读取的测试任务：
python学习-120-实现Fio结果自动化批量提取测试结果到CSV
流花飞羽的专栏
07-25 1046
无论是做运维工程师还是测试工程师，都会接触到磁盘性能读写测试的工作，它是来监测使用的硬件服务器的存储性能是否良好。汇总测试结果就成了测试工程师的难题。结语通过python语言的强大功能，主要是采用字符串截取，提取位置，提取数据的方式，实现了fio测试结果的提取，并转存为csv文件。......
python中运行if函数的耗时测试
chkbxz的博客
04-27 1732
最近给树莓派的ups配置低电量自动关机程序，发现if函数的执行时间会影响检测效果，于是好奇宝宝打算测测if函数的耗时。
编写一个fio测试脚本
06-02
好的，下面是一个简单的 fio 测试脚本： ```bash #!/bin/bash # 测试目录 test_dir="/tmp/fio_test" # 测试文件大小 file_size="1G" # 测试时间 test_time="60" # fio 参数 fio_params="--ioengine=libaio --direct=1 --rw=randwrite --bs=4k --size=$file_size --numjobs=4 --time_based --runtime=$test_time --name=test --filename=$test_dir/testfile" # 创建测试目录 mkdir -p $test_dir # 运行测试 fio $fio_params # 删除测试文件和目录 rm -rf $test_dir ``` 这个脚本会在 `/tmp/fio_test` 目录下生成一个 `1GB` 的测试文件，并进行 `60` 秒的 `4KB` 随机写测试，使用 `4` 个并发作业。你可以根据自己的需要修改测试参数。注意，这个脚本会在测试目录下删除测试文件和目录，所以请确保不要使用重要的目录进行测试。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值