本周粗略阅读了《Test Input Selection for Deep Neural Networks》,该论文主要提出了一种深度神经网络的测试输入选择算法,该算法与DeepXplore相比表现更好。
主要工作:
本文提出了一种测试子集选择算法,通过选择值得标注的测试输入来缓解Oracle问题的算法。该算法可以在标记预算有限的情况下自动选择覆盖率高但规模小的测试用例集。与DeepXplore算法相比,该算法可以生成更小的测试集,具有更高的覆盖率。
贡献:
-
提出了一种基于动态规划和DNN结构覆盖标准的测试子集选择算法:在每次迭代中,从未标记的测试集中选出能够达到最高覆盖率的最小子集。(在两个公共数据集上的实验表明,与 DeepXplore 相比,所提出的方法以更小的测试套件实现了更高的覆盖率。)
-
设计了一种排序算法,通过根据错误检测能力对未标记的测试集进行排序。
算法:
1. 测试选择算法:输出当前测试数据集覆盖率最大的最小子集
2. 测试优先级排序算法:迭代执行算法1,从未标记的测试池中删除选定的测试。输出基于错误检测能力的测试集排序序列。