模糊神经网络_DeepHunter：深度神经网络覆盖导向的模糊测试框架

1、引用

Xiaofei Xie， Lei Ma， Felix Juefei-Xu， Minhui Xue， Hongxu Chen， Yang Liu， Jianjun Zhao， Bo Li， Jianxiong Yin， and Simon See. 2019. DeepHunter：a coverage-guided fuzz testing framework for deep neural networks. In Proceedings of the 28th ACM SIGSOFT International Symposium on Software Testing and Analysis (ISSTA 2019). Association for Computing Machinery， New York， NY， USA， 146–157. DOI：https：//doi.org/10.1145/3293882.3330579

2、摘要

基于深度神经网络(DNN)的软件应用于关键安全场景有着巨大的潜力，比如自动驾驶。与传统软件类似，DNNs 可能会出现错误的行为，由于一些隐患而导致严重的事故和损失。在本文中，我们提出了 DeepHunter，一个覆盖导向的模糊测试框架，用于检测通用 DNNs 的潜在缺陷。首先提出一个变形策略来生成新的语义保留测试，并利用多个可扩展的覆盖率标准作为反馈来指导测试生成。在此基础上，提出了基于多样性和基于新近性的种子选择策略，整体上实施并整合了 5 个现有的测试标准和 4 个种子选择策略。

大规模实验表明：(1)我们的变形变异策略能够有效地生成与原始种子语义相同的新的有效测试，其有效性高达 98%；(2)在提高覆盖率和检测缺陷方面，基于多样性的选种一般比基于新近性的选种权重大；(3) DeepHunter 在覆盖率、缺陷的数量和多样性方面优于现有技术；(4)在基于角域的准则指导下，DeepHunter 在平台迁移的 DNN 量化过程中有利于捕获缺陷。

关键字：深度学习测试，变形测试，覆盖导向模糊

3、引言

近十年来，深度学习(DL)在许多前沿智能应用领域取得了巨大成功，如图像处理、语音识别、视频、棋类游戏。然而，与传统软件一样，基于 DNN 的软件尽管在对抗攻击测试精度非常高，但仍然存在缺陷。一些真实的案例，如报道的 Tesla/Uber 事故，智能语音机器人(如 Siri， Alexa)被隐藏的命令操纵，可能会造成严重的安全隐患。因此 DL 的质量和安全保证的重要性开始引起人们的注意，特别是那些应用于安全和关键任务场景的 DL。

基于 DNN 的软件在部署前也需要进行系统测试，重点在于早期识别其潜在的缺陷和脆弱性，据此向开发人员反馈，以进一步分析根本原因，增强健壮性。传统软件和 DNN 软件编程范式和开发流程的根本差异，导致传统软件的测试技术不能直接应用于基于 DNN 的软件，这对 DL 软件的测试提出了新的挑战。传统软件的测试标准(如行覆盖、分支覆盖)直接遵循源代码结构，而 DNNs 的现有测试标准(如神经元覆盖、KMNC)则没有这种明确的结构。直观地看，增加测试标准以覆盖特定的代码片段(如分支)是检测缺陷的必要条件(见图 1)。当涉及到深度测试标准时，这种随意的联系就变得模糊。