ADAPT——具有自适应神经元选择策略的DNN有效白盒测试

论文《Effective White-Box Testing of Deep Neural Networks with Adaptive Neuron-Selection Strategy》阅读笔记。

摘要

本文提出一种用于DNN的新白盒测试技术ADAPT，该技术使用了一种新方法来改进现有的神经元选择策略，通过不断适应正在进行的测试过程来有效地进行神经元选择。对现实世界网络模型和数据集的实验表明，就覆盖率和发现的对抗性输入而言，ADAPT比现有的测试技术更有效。

背景

传统软件测试的覆盖率指标（如分支覆盖率、代码覆盖率），不足以区分不同深度状态的神经网络。因此，现有白盒测试方法利用了神经网络的内部结构以实现更高覆盖率：

1. 选择内部神经元；

2. 计算所选神经元相对于输入的输出梯度；

3. 通过在增加输出值的方向上将梯度添加到原始测试用例来生成新的测试用例。

其中，第一步的神经元选择策略非常重要。目前，已经提出了许多启发式神经元选择策略，以在有限的时间预算内最大化覆盖范围。例如，DeepXplore提出的神经元覆盖率NC，其使用一种随机选择未激活神经元的策略；DLFuzz提出了四种不同的神经元选择策略，用于优先考虑经常和很少覆盖的神经元、具有最高权重的神经元和接近激活阈值的神经元；以及DeepGauge提出的Top-k神经元覆盖等。

但是，现有白盒技术使用一组选定的内部神经元的梯度，其选择是通过预先确定的策略完成的，即整个过程使用固定的神经元选择策略是现有白盒方法的主要限制。因此，本文考虑在测试过程中自适应地确定神经元选择策略——提出一种参数化神经元选择策略࿰