如何在本地跑FuzzBench的实验

建议在ubuntu 22.04 下搭建fuzzbench，因为ubuntu 22.04自带python 的高版本。fuzzbench需要python3.10以上的环境。

概述

FuzzBench是谷歌做的一个评估模糊测试的benchmark，主要目的是为了评测覆盖率导向模糊测试工具能达到多少覆盖率，能够发现多少漏洞。本文主要介绍如何在本地运行fuzzbench的实验。当然也可以用谷歌的云服务来跑，具体教程在这：https://google.github.io/fuzzbench/running-a-cloud-experiment/

FuzzBench的相关链接如下：

• github仓库： https://github.com/google/fuzzbench
• 官方文档：https://google.github.io/fuzzbench/

本文使用的FuzzBench的版本为：这个commit 74fe0463fb10136cbe3238144a5a2a7d9e9a7c18
所以后续如果按照该教程无法正常跑实验的话，可以运行下面的命令：

cd fuzzbench
git checkout 74fe0463fb10136cbe3238144a5a2a7d9e9a7c18

安装

具体可参考：https://google.github.io/fuzzbench/getting-started/prerequisites/

之前也曾经尝试过fuzzbench，最近又回来看，发现好像比之前安装更简单了。

获取fuzzbench的代码

git clone https://github.com/google/fuzzbench
cd fuzzbench
sudo apt-get install build-essential rsync

# 需要在python3.10下执行下面命令
make install-dependencies

照官网教程安装一些依赖：https://google.github.io/fuzzbench/getting-started/prerequisites/

安装依赖后，可以验证下是否成功

make presubmit

如果出现success，就说明安装成功了。

运行实验

弄一个实验的配置文件，叫做 experiment-config.yaml ， 配置文件参数的如下：

• trials：跑多少次实验
• max_total_time：跑一次实验要多久，单位为秒
• docker_registry：使用的dokcer仓库
• experiment_filestore：实验数据存放的位置
• report_filestore：实验报告存放的位置
• local_experiment：是否本地运行实验

# The number of trials of a fuzzer-benchmark pair.
trials: 5

# The amount of time in seconds that each trial is run for.
# 1 day = 24 * 60 * 60 = 86400
max_total_time: 86400

# The location of the docker registry.
# FIXME: Support custom docker registry.
# See https://github.com/google/fuzzbench/issues/777
docker_registry: gcr.io/fuzzbench

# The local experiment folder that will store most of the experiment data.
# Please use an absolute path.
experiment_filestore: /tmp/experiment-data

# The local report folder where HTML reports and summary data will be stored.
# Please use an absolute path.
report_filestore: /tmp/report-data

# Flag that indicates this is a local experiment.
local_experiment: true

运行下面命令跑实验，fuzzer参数设定了要测试的fuzzer，这里是afl和libfuzzer。benchmark设定了要跑的benchmark。

source .venv/bin/activate
export EXPERIMENT_NAME=afltest
PYTHONPATH=. python3 experiment/run_experiment.py \
--experiment-config experiment-config.yaml \
--benchmarks libpng-1.2.56 \
--experiment-name $EXPERIMENT_NAME \
--fuzzers afl aflplusplus

然后可以用浏览器打开下面的目录的网页文件，查看最后的报告

/tmp/report-data/$EXPERIMENT_NAME/index.html

下图截取了部分报告：

更详细的样例报告，官网也给出了：https://www.fuzzbench.com/reports/sample/index.html