# 每天一篇论文 262/355 Attacking Optical Flow

攻击光流

Max Planck Institute for Intelligent Systems

University of Tubingen

Code

摘要

深度神经网络在光流估计问题上取得了最新的性能。由于光流被应用在一些安全关键的应用中，如自动驾驶汽车，因此了解这些技术的稳健性是很重要的。最近，有研究表明，对抗性攻击很容易愚弄深层神经网络来错误分类对象。然而，光流网络对对抗性攻击的鲁棒性目前还没有研究。本文将对抗性补丁攻击扩展到光流网络，并证明了这种攻击会影响光流网络的性能。我们证明，损坏小于图像大小1%的小块可以显著影响光流估计。我们的攻击会导致噪声流估计，其范围远远超出攻击区域，在许多情况下甚至会完全擦除场景中对象的运动。虽然使用编码器-解码器架构的网络对这些攻击非常敏感，但我们发现使用空间金字塔架构的网络受影响较小。我们分析了攻击这两种架构的成功与失败，通过可视化它们的特征图，并将它们与对这些攻击具有鲁棒性的经典光流技术进行比较。我们还通过在真实场景中放置打印的模式来证明这种攻击是可行的。

贡献

我们将对抗性补丁攻击扩展到光流神经网络。我们学习了对抗性补丁，并证明这些攻击会显著影响基于编码器-解码器架构的光流网络的性能。我们证明了空间金字塔结构和经典的光流方法对补丁攻击具有更强的鲁棒性。我们通过简单地打印补丁并将其放置在场景中，证明了这种攻击在实际中很容易实现。我们还分析了这些网络在攻击下的特征图，以了解它们在攻击下的行为。

方法

本文提出为了提高光流网络的准确性和光流估计的鲁棒性，对光流神经网络进行攻击。

对抗攻击

对抗性攻击寻求输入的小扰动，导致深神经网络估计中的大误差。攻击神经网络
使用对抗性例子是检验图像分类网络可靠性的常用方法11，18，29]。所有这些攻击的关键是，对图像的更改应该很小，但对输出有很大的影响。对抗性的例子通常涉及对人眼看不到的图像的小扰动。即使在图像中的单个像素受到干扰时，对手也会工作。
[11]Ian J Goodfellow, Jonathon Shlens, and Christian Szegedy. Explaining and harnessing adversarial examples. arXiv.org,2014
[18] Anh Nguyen, Jason Yosinski, and Jeff Clune. Deep neural networks are easily fooled: High confidence predictions for unrecognizable images. In Proc. IEEE Conf. on Computer Vision and Pattern Recognition (CVPR), pages 427– 436, 2015.
[29]Christian Szegedy, Wojciech Zaremba, Ilya Sutskever, Joan Bruna, Dumitru Erhan, Ian Goodfellow, and Rob Fergus. Intriguing properties of neural networks. arXiv.org, 2013

不同网络选择的攻击块

本文的目标是学习作为光流网络F对抗的补丁块P，它对补丁的位置L或变换δ是不变的。将生成的对抗块加入原来的图像中进行光流估计

针对不同网络选择不同的对抗块

本文提出两种攻击方法白盒攻击和黑盒攻击

白盒攻击

我们分别对每个网络执行白盒攻击。我们学习一个圆形的斑块，它在图像中的位置、比例和方向不变。补片的放大倍数保持在原始尺寸的±5%以内，旋转幅度在±10以内。对于每个网络，我们学习四种不同大小的补丁。补丁大小保持在被攻击图像大小的5%以下。

25x25的白盒攻击效果

125x125 的白盒攻击效果

黑盒攻击

在现实世界中，像自动驾驶汽车这样的系统使用的网络很可能无法访问以优化对抗补丁。因此，我们也考虑黑盒攻击，它学习一个“通用”补丁来攻击一组网络。由于有两种架构类型（编码器-解码器和空间金字塔），我们从每种类型中考虑一个网络来学习“通用”补丁来攻击所有网络。

黑盒攻击效果

攻击效果在各层Feature map 中的体现