数据集处理

1，查看重复行，随机行

去除重复行
sort file |uniq

查找重复行
sort file |uniq -dc

2，数据集处理

制造一个模板

cat lru_iolog |head -3 >muban_iolog

取随机行

awk 'BEGIN{FS=" "};{if((NR!=1)&&(NR!=2)&&(NR!=3)&&(NR!=61444)) print }' lru_iolog |awk 'BEGIN{srand()}{b[rand()NR]=$0}END{for(x in b)print b[x]}' >>muban_iolog

修改行尾

awk 'BEGIN{FS=" "};{if(NR==61443) {$2="close";$3="";$4=""} print  }' muban_iolog >done_iolog

开始测试：
fio -filename=/dev/mapper/cachedev  -direct=1 -iodepth 1 -thread -rw=randrw  -ioengine=psync -bs=512k -size=30G -numjobs=1 -group_reporting -name=mytestroot -write_bw_log=ceshi -read_iolog=/root/done_iolog

目标数据集拥有86％的命中率，包含了读和写。