CVPR2024 | 针对自动驾驶场景下单目深度估计模型的对抗攻击

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

点击进入—>【自动驾驶和深度估计】微信交流群

添加微信：CVer5555，小助手会拉你进群！

扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！

投稿人简介：郑君豪，西安交通大学网络空间安全学院博士一年级学生，导师是沈超老师，主要研究方向为自动驾驶感知安全和对抗攻击。

本文介绍西安交通大学网络空间学院先智所提出的针对自动驾驶场景下单目深度估计模型的对抗攻击方法，论文被CVPR2024收录。

图一 论文标题及作者信息

Physical 3D Adversarial Attacks against Monocular Depth Estimation in Autonomous Driving

论文：https://arxiv.org/abs/2403.17301

代码：https://github.com/gandolfczjh/3d2fool

摘要

基于深度学习的单目深度估计(MDE)被广泛应用于自动驾驶领域，容易受到对抗攻击。以往针对MDE模型的物理对抗攻击依赖于2D对抗补丁，因此它们只能影响估计深度图中的一个小的局部区域，并且不能保证在不同视角下保持稳定的攻击效果。为解决这些限制，本文提出3D Depth Fool ()方法，第一个针对MDE模型的基于3D纹理的对抗攻击。具体来说，经过优化可生成与汽车模型种类无关的3D对抗纹理，并提高了在恶劣天气条件(如雨、雾)下的鲁棒性。实验结果验证了在各种场景中的优越性能，包括不同的汽车类型、MDE模型、天气条件和视角下。在物理世界中，我们在汽车模型上打印3D纹理，实验结果表明我们的可以导致超过10米的深度估计误差。

简介

尽管深度神经网络(DNNs)被广泛应用，但是它们容易受到对抗攻击的影响，这也对基于DNNs的MDE模型构成了安全威胁。对抗攻击可以根据应用场景分为两种类型：数字域对抗攻击和物理域对抗攻击。数字域攻击主要是对图像像素添加小的扰动，由于其对物理变化(如打印、天气条件和视角变化)的敏感性，它们很难直接转化到物理世界中。物理域攻击通过在各种物理约束下优化扰动来解决这些限制，并且它们在误导现实世界的自动驾驶系统的感知模型上取得了一定成功(CAMOU[1], DAS[2], FCA[3], DTA[4], ACTIVE[5])。在物理世界的攻击中，攻击者往往设计一个2D对抗补丁或3D伪装纹理并将其粘贴到目标车辆上，由摄像头捕获，然后将其输入到受害者模型中。2D对抗补丁仅能粘贴在物体表面的局部平面部分，无法在不同的视角和距离上实现对抗效果。相比之下，3D伪装纹理是为了覆盖车辆的整个表面，从而在任何视角下都能获得更好的攻击性能。   

图二 (a)现有的2D对抗补丁攻击(APARATE[7], SPOO[9])和(b)其3D对抗纹理的修改版本未能完全从MDE预测深度图中隐藏车辆，而(c)我们的鲁棒3D对抗性纹理使汽车消失

然而，现有的自动驾驶中的物理世界攻击主要集中在目标检测(DTA[4], ACTIVE[5])，只有少数针对MDE的攻击。此外，现有的针对MDE的攻击都是基于2D对抗补丁(APA[6], APARATE[7], SAAM[8], SPOO[9])，这些对抗补丁在不同角度和距离的条件下不可避免地受到限制。本文提出3D深度欺骗攻击()，第一个针对MDE模型的3D对抗伪装攻击。生成鲁棒的伪装纹理，适用于不同种类的目标车辆，并且在多个角度、距离均有效。此外，我们进一步模拟攻击优化过程中的天气情况，以提高恶劣天气下的攻击性能。

方法

图三 方法框图

问题定义：为了获取一个对抗纹理种子，其能使得MDE模型对带有攻击纹理的汽车误判距离，记估计距离为，目标距离为，公式记为：

纹理转换：将2D对抗纹理种子转换为可以粘贴到任意目标物体上的3D纹理，此处目标包括各种汽车类型，甚至包括行人等。公式记为：

此处的表示任意裁剪，和分别表示重复变换和鲁棒变换，前者即为将纹理种子沿边缘直接拼接，后者即为翻转、旋转等变换。

对抗图片渲染：将对抗纹理覆盖在3D汽车模型表明，并投影成2D的对抗汽车图片，此处使用的渲染器为可微分渲染，记为，因此公式记为

此处表示渲染时所需的相机位姿。

对抗增强：通过一系列的物理变换，模拟物理世界的对攻击样本的影响，包括阴影、曝光、以及雨雾等恶劣天气，然后使用掩膜对汽车边缘进行裁剪，将其粘贴到自然的背景图片中，以获得最终的对抗图片，因此公式记为：

实验

实验在Carla渲染器中完成，用于测评的MDE模型包括：Monodepth2[10], Depthhints[11], Manydepth[12], Robustdepth[13]，具体的实验细节欢迎阅读原文。

首先是在不同角度和距离下，测量现有攻击MDE模型方法的平均深度估计误差和影响区域面积占比，攻击效果如下图表所示。

图四 不同方法的攻击效果比较    

图五 不同方法的攻击性能比较

图六 不同方法的攻击性能在不同距离和角度下的比较

在不同的天气条件下，分别测试各攻击方法对Monodepth2[10]模型的攻击效果，结果如下图表所示。

图七 在不同天气条件下，攻击效果展示    

图八 在不同天气条件下，不同攻击方法的攻击性能比较

在不同的目标物体上，如行人、公交、卡车上，分别测试各攻击方法对Monodepth2[10]模型的攻击效果，结果如下图表所示。

图九 在不同目标物体上，不同攻击方法的攻击性能比较

图十 在不同目标物体上，攻击效果展示

在物理世界的实验测试中，我们将纹理粘贴在汽车模型表面，测试对Monodepth2[10]模型的攻击效果，结果如下图表所示。

   

图十一 在不同环境下，在物理域的攻击性能展示

图十一 在不同环境下，在物理域的攻击效果展示

Reference

[1] Yang Zhang, Hassan Foroosh, Phiip David, and Boqing Gong. Camou: Learning physical vehicle camouflages to adversarially attack detectors in the wild. In International Conference on Learning Representations, 2018.

[2] J. Wang, A. Liu, Z. Yin, S. Liu, S. Tang, and X. Liu. Dual attention suppression attack: Generate adversarial camouflage in physical world. In 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2021.

[3] Donghua Wang, Tingsong Jiang, Jialiang Sun, Weien Zhou, Zhiqiang Gong, Xiaoya Zhang, Wen Yao, and Xiaoqian Chen. Fca: Learning a 3d full-coverage vehicle camouflage for multi-view physical adversarial attack. In Proceedings of the AAAI conference on artificial intelligence, 2022

[4] Naufal Suryanto, Yongsu Kim, Hyoeun Kang, Harashta Tatimma Larasati, Youngyeo Yun, Thi-Thu-Huong Le, Hunmin Yang, Se-Yoon Oh, and Howon Kim. Dta: Physical camouflage attacks using differentiable transformation network. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2022

[5] Naufal Suryanto, Yongsu Kim, Harashta Tatimma Larasati, Hyoeun Kang, Thi-Thu-Huong Le, Yoonyoung Hong, Hunmin Yang, Se-Yoon Oh, and Howon Kim. Active: Towards highly transferable 3d physical camouflage for universal and robust vehicle evasion. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2023

[6] Koichiro Yamanaka, Ryutaroh Matsumoto, Keita Takahashi, and Toshiaki Fujii. Adversarial patch attacks on monocular depth estimation networks. IEEE Access, 8:179094–179104, 2020.

[7] Amira Guesmi, Muhammad Abdullah Hanif, Ihsen Alouani, and Muhammad Shafique. Aparate: Adaptive adversarial patch for cnn-based monocular depth estimation for autonomous navigation, 2023

[8] Amira Guesmi, Muhammad Abdullah Hanif, Bassem Ouni, and Muhammad Shafique. Saam: Stealthy adversarial attack on monoculor depth estimation. ArXiv, abs/2308.03108, 2023

[9] Zhiyuan Cheng, James Liang, Hongjun Choi, Guanhong Tao, Zhiwen Cao, Dongfang Liu, and Xiangyu Zhang. Physical attack on monocular depth estimation with optimal adversarial patches. In Computer Vision – ECCV 2022, pages 514–532, Cham, 2022.

[10] Clement Godard, Oisin Mac Aodha, Michael Firman, and Gabriel J. Brostow. Digging into self-supervised monocular depth prediction. 2019    

[11] Jamie Watson, Michael Firman, Gabriel J. Brostow, and Daniyar Turmukhambetov. Self-supervised monocular depth hints. In The International Conference on Computer Vision (ICCV), 2019

[12] Jamie Watson, Oisin Mac Aodha, Victor Prisacariu, Gabriel Brostow, and Michael Firman. The Temporal Opportunist: Self-Supervised Multi-Frame Monocular Depth. In Computer Vision and Pattern Recognition (CVPR), 2021

[13] Kieran Saunders, George Vogiatzis, and Luis J. Manso. Self-supervised Monocular Depth Estimation: Let's Talk About The Weather. In The International Conference on Computer Vision (ICCV), 2023    

何恺明在MIT授课的课件PPT下载

在CVer公众号后台回复：何恺明，即可下载本课程的所有566页课件PPT！赶紧学起来！

CVPR 2024 论文和代码下载

在CVer公众号后台回复：CVPR2024，即可下载CVPR 2024论文和代码开源的论文合集

自动驾驶和深度估计交流群成立

扫描下方二维码，或者添加微信：CVer5555，即可添加CVer小助手微信，便可申请加入CVer-自动驾驶和深度估计微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。
一定要备注：研究方向+地点+学校/公司+昵称（如自动驾驶或者深度估计+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲扫码或加微信号: CVer5555，进交流群
CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集近万人！

▲扫码加入星球学习

▲点击上方卡片，关注CVer公众号
整理不易，请点赞和在看