【对抗vqa】Attacking VQA Systems via Adversarial Background Noise

原文标题： Attacking VQA Systems via Adversarial Background Noise
原文代码： https://github.com/akshay107/vqa-adv-background
发布年度： 2020
发布期刊： IEEE TETCI

---

摘要

Adversarial examples have been successfully generated for various image classification models. Recently, several methods have been proposed to generate adversarial examples for more sophisticated tasks such as image captioning and visual question answering (VQA). In this paper, we propose a targeted adversarial attack for VQA where the noise is added only to the background pixels of the image keeping the rest of the image unchanged. The experiments are done on two state-of-the-art VQA systems: End-to-End Neural Module Network (N2NMN) and Memory, Attention and Composition Network (MAC network) and three datasets: SHAPES, CLEVR, and VQA v2.0. We combine validation and test sets of SHAPES, and select 1000 image-question pairs from CLEVR validation set. For VQA v2.0, we select 500 image-question pairs from the validation set for experimentation. We study the proposed attack under two different settings: same-category and different-category; referring to whether or not the target adversarial answer lies in the same category as the original answer. For CLEVR, the proposed attack achieves 100% success rate for both the models under same-category setting and success rate of 22.3% for N2NMN and 73.9% for MAC network under different-category setting. For SHAPES, the proposed attack achieves success rate of 68.9% for N2NMN. The proposed attack also achieves high success rate for same-category setting in VQA v2.0. Furthermore, we give strong rationale behind the robustness of N2NMN to different-category attack.

---

背景

多模态模型大多使用某种形式的注意力机制和localization方法，因此一些对抗性攻击的高成功率表明这种机制不足以保护模型免受对抗性攻击。

创新点

本文的目的是研究视觉问答（VQA）系统针对背景噪声的鲁棒性。为此，我们提出了一种针对 VQA 的有针对性的对抗性攻击，其中对抗性噪声仅添加到图像的背景中。这种约束限制了对抗攻击的自由，因此所提出的方法是受控环境中的对抗性攻击。
并且设计了在两种不同的设置的攻击：相同类别和不同类别。在同类别设置中，目标答案和原始答案属于同一类别；在不同类别设置中，目标答案和原始答案属于不同类别。

baseline

N2NMN基于可微模块的思想，其中每个模块执行特定任务。通常，使用自然语言解析器将问题显式地分解为模块布局（称为模块布局）。然而，N2NMN的一个可能的缺点是需要事先定义模块集，并且可能根据数据集的复杂性而变化。
MAC网络是一种基于记忆、注意力和组合（MAC）单元的递归架构。每个MAC单元由两个隐藏状态组成：内存和控制。内存存储中间结果，控件具有有关推理步骤的信息。每个单元都有其一组预定义的操作，用于处理图像/问题的相关部分或汇总信息。

模型

该模型由两个阶段组成。在第一阶段检测图像的背景，在第二阶段通过仅修改背景对给定的图像-问题对进行有针对性的对抗性攻击。

1.背景检测

• 对于数据集SHAPES，图形为彩色的像素点，背景是图像中存在的一组黑色像素。
• 对于数据集CLEVR，我们使用canny edge detector来检测图像中存在的物体的边缘。然后，寻找最小的矩形框，使得所有检测到的边缘都位于其中。图片中矩形框以外的部分视为背景。
• 对于数据集VQA v2.0，使用物体检测器Faster R-CNN检测图像中存在的物体和其bounding box。整张图片中不在任何检测到的框中的像素被视为背景，注意该数据集中的基于该计算方式得到背景部分较小。

2.Targeted Adversarial Attack

• 符号定义

设 $（I_{org}，Q，A)$ 表示原始图像-问答三元组，其中图像 $I_{org}\in$