[论文解读二]DeepGauge: Multi-Granularity Testing Criteria for Deep Learning Systems

前情提要

论文内容介绍见论文阅读笔记一DeepGauge: Multi-Granularity Testing Criteria for Deep Learning Systems)

要点提示

有一些在读论文的时候，自己理解有所偏差，在复现论文的时候，有一些新的理解，所以打算记录下来。（以下内容仅代表个人理解，大家有不同想法可以评论交流）。

major function region和corner-case region理解

major function region和corner-case region均与训练集相关，待测试模型的每个神经元有不同的major function region和corner-case region。值为测试集输入到模型后，神经元的输出值的上界为a，下界为b，那么major function region为[b,a],corner-case region为[-∞，b]∪[a,+∞]。

Top-k Neuron Coverage和Top-k Neuron Patterns区别

• Top-k Neuron Coverage指测试集输入到待测试模型之后，每层的前top-k神经元组成的集合的大小比所有的神经元。是整体看法。
• Top-k Neuron Patterns指测试集在待测试模型的各种激活模式的数量。用下图的例子，测试样本x1输入到模型中，top-2模式为（{n1,n3}{n5,n6}{n8,n9}）,测试样本x2输入到模型中，假设top-2模式为（{n1,n2}{n5,n6}{n8,n9})，那么论文中要求的TKNP覆盖指标的值为2（为top-2模式集合数量）
  

论文感想

• 核心内容
  提出多粒度测试标准（神经元级别和层级别）。神经元级别分为主功能区域和角落区域，针对主功能区域提出k区域神经元覆盖；针对角落区域，提出神经元边界覆盖和强活跃神经元覆盖。层级别提出top-k神经元覆盖和top-k模式。
• 与原始数据相比，test+CW产生的数据集在各项测试指标上并没有明显的提高，这是论文的一个缺陷
• 证明测试标准有效的，是通过比较test和test+对抗数据集在各项测试标准的值有所提高，但是只要添加数据就有提高值的可能性（毕竟数据多了）。不过好在这只是该团队工作的一部分，提出这些覆盖标准是为了进一步做模糊测试。