AI模型测试(评估标准）DEEPSEC: A Uniform Platform for Security Analysis of Deep Learning Model

ABSTRACT

1. 介绍了DEEPSEC的设计、实施和评估。
   DEEPSEC包括16种最先进的攻击方法（带有10个攻击实用度量标准）和13种最先进的防御方法（带有5个防御实用度量标准）

2. DEEPSEC是首个平台可以评估DL模型的脆弱性、评估各种攻击/防御方法的有效性 。

3. DEEPSEC的丰富功能：
   证实了错误分类和不可感知之间的权衡
   大多声称具有普遍适用性的防御方法只能 抵御受限环境下的有限类型的攻击
   不必很容易检测到具有较高扰动的对抗样本
   多层防御方式的结合不能提高整体防御能力，但是可以提高单一的防御性能的下限。

INTORDUCTION

本文贡献

1. DEEPSEC ，第一个专门设计用于对抗攻击/防御的评估平台。与最新的对抗性学习库相比，有两个主要特征：
   1）包括最多的攻击/防御方法集合
   2）利用评估标准，可以统一对攻击/防御方法进行评估。

2. 利用DEEPSEC对不同指标下的攻击/防御方法进行了证实研究，**本文还提出了10个针对攻击的评估标准和5个针对防御的评估,**除此之外，在不同的攻击和防御方法之间进行最大规模的交叉评估。

3. 创新发现：
   a)证实了对抗样本的错误分类和不可感知性之间的权衡
   b)大多普遍使用的防御方法仅对有限的攻击方法或受限环境下的攻击方法有效
   c）多重防御方法的结合不能提高总体防御能力，但可以提高单一的防御性能的下限。

ATTACKS & DEFENSES

在本文中，只考虑非自适应和白盒攻击方法（完全了解目标DL模型，但不知道防御方法）大多的白盒或非自适应攻击方法都可以基于可传递性或者针对特定的防御方法调整而适应于黑盒攻击。

• 常见的对抗攻击和防御方法
  
• 对抗攻击