​AAAI 2022 | 基于强化学习的视频弹幕攻击

©PaperWeekly 原创 · 作者 | 陈凯

单位 | 复旦大学以人为本人工智能研究中心

研究方向 | 对抗攻防

本文中，来自复旦大学以人为本人工智能研究中心的研究者提出了一种新型的对抗弹幕攻击，通过在干净视频上添加少量弹幕便能误导视频识别模型，同时添加的弹幕不会影响人们对视频内容的理解。

论文标题：

AttackingVideo Recognition Models with Bullet-Screen Comments

论文链接：

https://arxiv.org/pdf/2110.15629.pdf

代码链接：

https://github.com/kay-ck/BSC-attack

引言

1.1 背景

深度神经网络已经在视频识别、视频目标检测等各类视频理解相关任务中表现出优越的性能。然而，最近的工作表明，深度神经网络极易受到视频对抗样本的干扰从而产生错误的预测结果。这些视频对抗样本是通过对干净的输入样本添加难以察觉的扰动而生成的。视频对抗样本的存在给部署在实际应用中的视频模型带来了严重安全隐患。因此，针对对抗样本的研究引起了研究人员的广泛关注。

1.2 问题

然而，大多数视频对抗样本相关的工作都集中在基于扰动的攻击上。其中基于扰动的攻击是指在视频上添加限制在Lp范数的扰动，在不引起人眼察觉的情况下实现的对抗攻击。尽管基于扰动的攻击能够有效攻击视频识别模型，但它们通常难以应用于物理世界中的攻击。相比之下，补丁攻击则通过无限制的修改有限区域内像素来生成对抗样本，能够有效应用于物理世界中。然而，目前基于补丁攻击的研究主要集中在图像上，针对视频的补丁攻击鲜少被探索。

对此，我们研究了在黑盒设置下基于补丁的视频模型攻击。这项任务的挑战主要来自两个方面。首先，视频是相邻帧内容密切相关的图像序列。如果像基于扰动的视频攻击那样仅选择视频中的几帧来添加对抗补丁，则会增加攻击的可感知性。其次，相较于图片，视频的维度要高很多。如果将对抗补丁添加到视频的每一帧，将会显着增加计算成本。因此，如何在黑盒场景下高效地为视频模型生成不显眼的对抗补丁是主要挑战。

1.3 成果

为了解决上述问题，我们提出了一种针对视频识别模型的新型对抗弹幕攻击方法。由于弹幕直播视频中比较常见，因此与传统的矩形补丁相比，人们对弹幕这种有意义的补丁相对不敏感。下图展示了对抗弹幕攻击的示例。可以看出，添加少量的弹幕不会影响人们对于视频的理解，但是却能成功地欺骗视频识别模型。

▲对抗弹幕攻击的示意图

为了使得添加到每个视频的弹幕在有意义的同时彼此不同，我们在对抗弹幕攻击使用了一个图像字幕 (image caption) 生成模型来自动生成弹幕内容。然后基于高攻击成功率以及弹幕位置不重叠这两个目标函数来选择对抗弹幕的位置和透明度。其中弹幕位置不重叠这一目标主要是为了避免重叠造成的视频内容模糊。为了实现这两个目标ÿ