本文质疑了神经覆盖率（NC）作为测试深度神经网络有效性指标的有效性。研究发现，增加NC并不一定增强测试套件的质量，反而可能导致缺陷检测能力下降，输入变得不自然，并增加预测偏见。作者提出一种新的正则化算法，尝试在增加NC的同时促进多样性，但实验结果显示这种方法可能适得其反。最后，作者呼吁发展新的测试生成技术，综合考虑缺陷检测、自然性和输出公正性。
阅读论文《Is Neuron Coverage a Meaningful Measure for Testing Deep Neural Networks?》。记录阅读笔记。
全文内容总结：
在以往研究中，基于增加NC可以提高测试集质量的隐含假设，NC被用于指导测试生成。
本文设计了一种新的促进多样性的正则化算法，该算法可以嵌入现有的对抗性攻击算法（CW、PGD）中。并评估增加NC是否能生成测试套件满足：
- 能检测对抗性攻击
- 产生自然输入
- 对特定类别预测没有偏见
结果却发现：增加NC会使生成有效测试套件更困难，即更高的NC会导致检测到的缺陷更少、自然输入更少、预测偏好更有偏差。
最后，作者呼吁一种新的测试生成技术，能同时考虑缺陷检测、自然性和输出公正性。
算法思想：
本文的正则化算法通过惩罚倾
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
