qq_40479372的博客

基于对抗的测试输入生成方法是从机器学习和深度学习的角度入手，通过向原始样本添加微小扰动的方式产生对抗样本，使DNN系统进行错误分类。其又分为白盒、灰盒和黑盒攻击，顾名思义，黑盒攻击就是在无法获取模型内部结构信息的情况下，仅通过模型的输入输出来生成对抗样本。本次讲解黑盒攻击的一个经典代表算法——本地搜索攻击算法（论文：《Simple Black-Box Adversarial Perturbations for Deep Networks》）

本文提出了差分模糊测试框架，在不需要交叉引用其他DL系统和人工标签的情况下，为DL系统产生更多高神经元覆盖率的对抗输入。首次将模糊化测试的基本思想与DL测试相结合，并对其有效性进行了验证。

粗略阅读论文《Manifold-based Test Generation for Image Classifiers》，这篇论文在测试输入生成的方法上创新，提出了一种基于流形的测试生成框架，生成了更加真实的测试用例。变分自动编码器（CVAE）的变体捕获数据集的分布域模型，从该流形中采样新的测试用例，使用解码器将其映射到输入维度，得到更有可能是遵循真实分布的测试输入。在流形空间上应用基于搜索的测试生成。生成所需数量的故障揭示输入后，再选择应用适应度函数，确定测试用例的优先级，并选择产生高分的测试用例。

OOD检测方法总结及两种在测试输入生成中的应用

广义OOD检测包含了异常检测（AD）、新颖性检测（ND）、开集识别（OSR）、分布外（OOD）检测和离群点检测（OD）五个子问题

很难判断识别的错误是否确实是DL应用程序有意义的错误。因此提出了一种新的OOD指导的测试技术，旨在生成与底层DL系统任务相关的新的unseen的测试用例。结果表明，该技术能够在CIFAR-10上滤除高达55.44%的错误测试用例，在增强鲁棒性方面效率提高了10.05%。

该论文主要是对深度学习测试用例生成中的分布外数据（OOD）的讨论，并根据实验结果提出了一系列针对未来研究方向的建议，对提升测试用例生成的质量有一定的帮助。

使用工具connected papers绘制了和DeepXplore相关的文献脉络图，并了解各个文献的主要工作如下。

本文提出一种用于DNN的新白盒测试技术ADAPT，该技术使用了一种新方法来改进现有的神经元选择策略，通过不断适应正在进行的测试过程来有效地进行神经元选择。对现实世界网络模型和数据集的实验表明，就覆盖率和发现的对抗性输入而言，ADAPT比现有的测试技术更有效。

为此，基于输入域的等价类分析开发了一套冒烟测试，以识别输入域中可能揭示错误的有问题的区域。此外，机器学习算法具有许多超参数，可以配置开发的机器学习模型的复杂性(例如决策树的深度、神经元的数量)，也可以配置优化算法(例如牛顿梯度下降或随机梯度下降)，而由于问题的指数性质，用网格搜索对超参数进行穷举测试通常是不可能的。因此提出了一种简单方法，其中测试的数量只随超参数的数量线性增长。将方法应用于三个最先进的机器学习库，以评估测试有效性，即是否能检测到以前没有检测到的真实错误。...

粗略阅读论文《An Empirical Study on Test Case Prioritization Metrics for Deep Neural Networks》。本文相当于是对各种测试用例优先级指标的归纳，可以用于了解这些指标，以便在自己的实验设计中使用。主要工作：从故障检测比率、准确性、相关性角度研究了 11 个测试用例优先级度量，共分为4类：惊喜充分性、置信度分散性、变异不确定性和变异率。对两个基准数据集和 DNN 模型的指标进行了实证研究。实验结果表明，基于置信度分散的指标在

本周阅读了论文《Multiple-Boundary Clustering and Prioritization to Promote Neural Network Retraining》，该论文主要提出了一种叫MCP的方法，选择有效的输入子集对DL模型进行再训练，以提高模型的质量。在我们的研究中，可以考虑本文的边界聚类的算法思想。主要工作：前提：测试工作中，常通过标记从测试上下文中收集有效输入子集来重新训练DL模型，提高模型质量。本文提出：多边界聚类和优先级排序（MCP）——将测试样本聚

本周粗略阅读了论文《Input Prioritization for Testing Neural Networks》，该论文研究了通过DNN的三种情绪指标（sentiment）来对测试输入进行优先级排序的有效性，对今后的研究方向有一定提示。例如，我们可以将文中提到的这些情绪指标糅合到自己的优先级排序方法中，或者将这些指标进行结合，比较它们的效果等等。由于阅读的是英文原文，有一些词汇不知道如何翻译，所以在括号后标注了原单词。如有不当，欢迎指正。主要工作：本文从模型执行的计算中得到 DNN 的情绪

本周阅读论文《TestRank: Bringing Order into Unlabeled Test Instances for Deep Learning Tasks》，阅读笔记如下。主要工作：提出了一种测试优先级技术TestRank，根据错误揭示功能排序未标记的测试实例。该技术同时利用测试实例的固有属性和上下文属性：首先在测试实例和训练样本上构建相似性图，然后进行基于图的半监督学习，提取上下文特征。然后对于特定的测试实例，将从图神经网络（GNN）中提取的上下文特征和使用DL模型本身获得的内

本周粗略阅读了论文《Test Selection for Deep Learning Systems》，并参考了陈老师实验室发布的翻译，记录个人的阅读笔记，侵删。本文主要内容：本文基于模型不确定性对一组测试选择指标进行了实证比较，假设不确定性最大的样本同样也是信息量最大的样本，应优先使用再训练来改进。在五个模型和三个图像分类问题上评估，证明了基于不确定性的度量具有很强的识别错误分类输入的能力，比惊讶指标（Surprise Adequacy）强三倍，并且优于覆盖相关指标。还发现这些指标可以在再

论文《DeepGini: Prioritizing Massive Tests to Enhance the Robustness of Deep Neural Networks》提出了一种DNN测试优先级排序方法DeepGini，该方法不仅优于现有神经元覆盖技术，而且对提高DNN质量有帮助。本文参考了这篇【论文转述】，侵删。主要工作：提出了DeepGini：一种基于DNN统计视角设计的测试优先级技术，可以将测量错误分类概率的问题简化为测量集合杂质的问题，使能够快速识别可能被错误分类的测试。

本周粗略阅读了《Test Input Selection for Deep Neural Networks》，该论文主要提出了一种深度神经网络的测试输入选择算法，该算法与DeepXplore相比表现更好。主要工作：本文提出了一种测试子集选择算法，通过选择值得标注的测试输入来缓解Oracle问题的算法。该算法可以在标记预算有限的情况下自动选择覆盖率高但规模小的测试用例集。与DeepXplore算法相比，该算法可以生成更小的测试集，具有更高的覆盖率。贡献： 提出了一种基于动态规划和DNN结构覆