CVPR 2024 Workshop | 面向视觉大模型的对抗攻击竞赛

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

点击进入—>【扩散模型和多模态】交流群

添加微信：CVer444，小助手会拉你进群！

扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！

下面这张图，我们一眼就能看懂图像的内涵，但视觉大模型（Vision Foundation Model）却似乎无法理解，难道是大模型“短路”了？

[1] Wang, H., Dong, K., Zhu, Z., Qin, H., Liu, A., Fang, X., ... & Liu, X. (2024, February). Transferable Multimodal Attack on Vision-Language Pre-training Models. In 2024 IEEE Symposium on Security and Privacy (SP) (pp. 102-102). IEEE Computer Society.

对于人眼来说，这只是一张主人与宠物狗玩耍的图片。然而，这张图中添加了针对大模型特别设计的对抗扰动，这种扰动使得视觉大模型在理解图像的语义时产生了错误的解读。

像这种直接在图片中增加不影响人类识别的扰动，使视觉大模型做出错误判断的攻击手段，就是对视觉大模型最常用的对抗攻击方法之一。

这种难以察觉的攻击方法的潜在危害却不可小觑。眼下，视觉大模型已经广泛应用于诸多领域，包括人脸识别、无人驾驶等。想象一下，当自动驾驶汽车遭受对抗攻击时，它可能会误将红灯识别为绿灯，把路障错认为可通行标志，甚至无法察觉前方的行人和汽车。这对我们的出行安全产生了巨大的威胁。

构建安全、鲁棒的视觉大模型，促使其能够应对复杂物理世界场景下的对抗攻击，在人工智能领域日趋重要。

然而，当前很多大模型是在封闭数据集下进行训练，无法适应开放世界场景，多样性的噪声与对抗补丁数据将会给大模型安全及鲁棒性带来极大挑战。    

为了加速物理世界对视觉大模型的鲁棒性研究，推动能够适应复杂环境的鲁棒视觉大模型开发，北京航空航天大学联合中关村实验室、上海人工智能实验室、合肥综合性国家科学中心数据空间研究院、新加坡A*STAR等，举办面向视觉大模型的对抗攻击竞赛——Black-box Adversarial Attacks on Vision Foundation Models。

本次大赛依托CVPR 2024的workshop“The 4th Workshop of Adversarial Machine Learning on Computer Vision: Robustness of Foundation Models”展开，希望鼓励研究者开发面向视觉大模型的黑盒对抗攻击算法，以自动驾驶作为典型应用场景，在复杂的真实世界场景及未知的大模型结构等因素下，探究视觉大模型的安全风险，促进鲁棒视觉大模型的发展。

此外，比赛获奖队伍还将受邀在workshop中做分享，讲解自己的技术方案，冠军团队将有机会获得A*STAR的实习offer。大赛已经正式启动，查看文末网址或点击阅读原文，即刻报名参与。

▎多任务对抗评测，聚焦视觉大模型鲁棒性

这次的视觉大模型黑盒对抗攻击比赛分为两个阶段。

Phase 1：开源大模型白盒对抗攻击     

初赛阶段，比赛会释放数据集，参赛者可以使用数据集或其他任何数据集，以及任何模型训练攻击算法。数据集中的攻击目标类别包含行人、车辆、交通牌等共5类。

初赛的攻击目标包含2个开源大模型、3个大模型任务。通过对数据集中的图像应用对抗攻击，选手需要得到足够鲁棒的对抗样本，能够干扰大模型的颜色判断、目标分类与统计计数三个任务的输出结果。初赛阶段选手需要将使用给定数据集生成的对抗样本提交。

Phase 2：闭源大模型黑盒对抗攻击 

复赛阶段，参赛者同样可以使用释放的数据集或其他任何数据集，以及任何模型训练攻击算法。但与初赛不同的是，复赛的待攻击模型将额外引入2个闭源大模型，对于所设计对抗攻击算法的迁移性与鲁棒性有着更高的要求。 

▎比赛时间

3月22日-5月10日          

▎比赛奖励

本次比赛冠军团队将获得新加坡A*STAR公司的2名实习offer，前十名将授予证书。同时，前8名将根据名次获得奖金，其中第一名可获得超过1000美元的奖金；前3名将获得共计价值2万元人民币的云计算资源。    

具体比赛规则及介绍，请前往官网。欢迎对AI与大模型安全感兴趣的朋友，踊跃报名参加~

▎比赛报名官网

https://challenge.aisafety.org.cn

Workshop地址：

https://cvpr24-advml.github.io/

北航刘祥龙教授团队介绍：

xlliu-beihang.github.io

扫描下方二维码，加入CVPR 2024竞赛交流群~

何恺明在MIT授课的课件PPT下载

在CVer公众号后台回复：何恺明，即可下载本课程的152页课件PPT！赶紧学起来！

CVPR 2024 论文和代码下载

在CVer公众号后台回复：CVPR2024，即可下载CVPR 2024论文和代码开源的论文合集

多模态和扩散模型交流群成立

扫描下方二维码，或者添加微信：CVer444，即可添加CVer小助手微信，便可申请加入CVer-多模态和扩散模型微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF等。
一定要备注：研究方向+地点+学校/公司+昵称（如多模态或者扩散模型+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲扫码或加微信号: CVer444，进交流群
CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集近万人！

▲扫码加入星球学习

▲点击上方卡片，关注CVer公众号
整理不易，请点赞和在看