论文那些事—Black-box Adversarial Attacks with Limited Queries and Information

Black-box Adversarial Attacks with Limited Queries and Information（ICML2018）

1、摘要

黑盒模型是指只能获得它的输入输出，但在真实世界中，黑盒模型往往连输入输出都有一定限制，比如限制查询次数，当过度频繁访问一个模型，模型有可能自锁不允许访问，针对现实世界的黑盒模型，作者提出三个真实的威胁模型：查询量有限、部分信息设置和仅标签有限。针对这三个问题，作者提出了一种新的黑盒攻击方法。本文受自然进化策略（NES）的启发，提出使用NES作为黑盒梯度估计技术，并使用带有估计梯度的PGD（用于白盒攻击）构造对抗样本。想看懂这篇文章可以先去看ZOO和有限差分方法。

2、三种威胁模型的攻击方法

黑盒攻击面临的三个约束：

1. Query-limited setting：攻击者对分类器具有有限的查询结果，对查询数量的限制可能是对其他资源的限制的结果，例如，时间限制和金钱限制。
2. Partial-information setting：如何保证生成的目标类在属于top-k类，攻击者只能访问标签 y 在 top k 类标签 y 1 , y 2 , . . . , y k的概率 p ( y ∣ x ) 。
3. Label-only setting ：只知道top-k 中有啥类别，不知道类别的score 如何确定每个类别的score在只使用标签的设置中，敌手不能访问类的概率或分数，只能访问 k 个根据其预测概率排序的推断标签的列表。