Black-box Adversarial Attacks with Limited Queries and Information(ICML2018)
1、摘要
黑盒模型是指只能获得它的输入输出,但在真实世界中,黑盒模型往往连输入输出都有一定限制,比如限制查询次数,当过度频繁访问一个模型,模型有可能自锁不允许访问,针对现实世界的黑盒模型,作者提出三个真实的威胁模型:查询量有限、部分信息设置和仅标签有限。针对这三个问题,作者提出了一种新的黑盒攻击方法。本文受自然进化策略(NES)的启发,提出使用NES作为黑盒梯度估计技术,并使用带有估计梯度的PGD(用于白盒攻击)构造对抗样本。想看懂这篇文章可以先去看ZOO和有限差分方法。
2、三种威胁模型的攻击方法
黑盒攻击面临的三个约束:
- Query-limited setting:攻击者对分类器具有有限的查询结果,对查询数量的限制可能是对其他资源的限制的结果,例如,时间限制和金钱限制。
- Partial-information setting:如何保证生成的目标类在属于top-k类,攻击者只能访问标签 y 在 top k 类标签 y 1 , y 2 , . . . , y k的概率 p ( y ∣ x ) 。
- Label-only setting :只知道top-k 中有啥类别,不知道类别的score 如何确定每个类别的score在只使用标签的设置中,敌手不能访问类的概率或分数,只能访问 k 个根据其预测概率排序的推断标签的列表。