bash实现一个简单的错误(mutation)注入工具

最近在做一个测试工具的测试(拗口吧)，这个工具生成了大量的测试用例，用来检测编译器是不是有错误。生成方法有学术上的价值(创新性)，但是实现的原型工具很难检测出来实际的错误。像是GCC这样的编译器测试用例已经很多，所以我们需要另外一种方式来检测测试用例的测试能力。这个技术称为mutation test，就是把正确的GCC代码中故意写错一个地方，然后看看测试用例能否测试出来编译器注入了错误。

常见的错误都是很简单的单行错误，分为这三类：&& 写成了 || ，+ 写成了 -，以及 off by one 错误。自己手工注入很无聊并且耗费时间。

下面这个脚本实现了 && 和 || 之间的随机替换，以达到错误注入的效果。使用了gcc的gcda文件(用HTML格式将就了下，.gcda格式文件删掉了)来分析其覆盖率，提高mutation被检测的概率(没有执行到的代码肯定不会检测出来，也就不用测试了。)

#!/bin/bash DEBUG=0 CompileSrcHome="./gcc-4.4.2/gcc" ModifySrcHome="./workspace/gcc" PatchHome="../patchs" BackupHome="$HOME/.patch_backups" dsrc="./src/gcc-4.4.2/gcc" dmod="./src/workspace/gcc" dcov="./AllTestCaseCov/home/wuwei/Src/gcc-4.4.2/gcc" fsrc=$dsrc/$1 fmod=$dmod/$1 fcov=$dcov/$1.gcov.html usage () { echo "usage:$0 C_file_name" } make_patch () { #防止用秒数来命名的mutation相互覆盖 sleep 1 cd ./src local patchname=`date +%y%m%d%H%M%S` echo "making mutation : $patchname" diff -NbBur "$CompileSrcHome" "$ModifySrcHome" > "$PatchHome/new.${patchname}.mutation" #cp "$PatchHome/${patchname}.mutation" "$BackupHome/${patchname}.mutation" #diff -NbBur gcc-4.4.2/gcc workspace/gcc > $PatchHome/${patchname}.mutation diff -NbBur $ModifySrcHome $CompileSrcHome | patch -p0 cd .. } [ $DEBUG -eq 1 ] && echo -e "$fsrc/n$fmod/n$fcov" [ -e $fsrc ] && [ -e $fcov ] || exit 2 # $1 = 在.gcov.html文件中显示的内容 # $2 = 在.c文件中显示的内容 # $3 = 需要替换成的内容 mut_inject () { # RANDOM={0,32767} # 2048 4096 8192 16384 32767 # 1/16 1/8 1/4 1/2 1/1 # I choose 1/4 probability pattern_in_cov=$1 pattern_in_src=$2 pattern_replace=$3 lines_total=`wc -l $fsrc|cut -f1 -d' '` echo "processing [$fsrc] which has $lines_total lines totally..." (grep -iq $pattern_in_cov $fcov) || return 3 lines=$(cat $fcov |/ grep lineCov|/ grep $pattern_in_cov |/ sed 's/<[^>]*>//g'|/ sed 's/^ *//'|/ cut -f1 -d' ') #[ "$lines" = "" ] || return 1 [ $DEBUG -eq 1 ] && echo $lines for line in $lines;do [ $RANDOM -lt 8192 ] || continue lines_before=$((line-1)) lines_after=$(( lines_total - line )) #line_mut=$(head -n $line $fsrc | tail -n 1 | sed 's/&&/||/') #[ -e $fmod ] && rm $fmod head -n $lines_before $fsrc > $fmod head -n $line $fsrc | tail -n 1 | / sed "s/$pattern_in_src/$pattern_replace/" >> $fmod tail -n $lines_after $fsrc >> $fmod make_patch done cp $fsrc $fmod } mut_inject '&&' '&&' '||' mut_inject '||' '||' '&&'

效果：

对gcc源代码目录下gcc子目录所有的脚本执行此脚本，生成mutation 2786个，编译通过2000+个，效果还是不错的。