1,查看重复行,随机行
去除重复行
sort file |uniq
查找重复行
sort file |uniq -dc
2,数据集处理
制造一个模板
cat lru_iolog |head -3 >muban_iolog
取随机行
awk 'BEGIN{FS=" "};{if((NR!=1)&&(NR!=2)&&(NR!=3)&&(NR!=61444)) print }' lru_iolog |awk 'BEGIN{srand()}{b[rand()NR]=$0}END{for(x in b)print b[x]}' >>muban_iolog
修改行尾
awk 'BEGIN{FS=" "};{if(NR==61443) {$2="close";$3="";$4=""} print }' muban_iolog >done_iolog
开始测试:
fio -filename=/dev/mapper/cachedev -direct=1 -iodepth 1 -thread -rw=randrw -ioengine=psync -bs=512k -size=30G -numjobs=1 -group_reporting -name=mytestroot -write_bw_log=ceshi -read_iolog=/root/done_iolog
目标数据集拥有86%的命中率,包含了读和写。