TPAMI 2024 | 自适应跨模态可转移对抗性攻击：从图像到视频

最新推荐文章于 2024-11-04 14:51:06 发布
最新推荐文章于 2024-11-04 14:51:06 发布
阅读量242 收藏
点赞数
分类专栏： 论文解读 IEEE TPAMI 文章标签： IEEE TPAMI 计算机顶刊 论文解读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42722197/article/details/139719649
版权

Adaptive Cross-Modal Transferable Adversarial Attacks From Images to Videos

题目：自适应跨模态可转移对抗性攻击：从图像到视频

作者：Zhipeng Wei; Jingjing Chen; Zuxuan Wu; Yu-Gang Jiang

摘要

对抗性样本的跨模型迁移性使得黑盒攻击变得切实可行。然而，它通常需要访问与黑盒模型相同模态的输入才能获得可靠的迁移性。遗憾的是，在安全关键场景中，数据集的收集可能很困难。因此，开发跨模态攻击以欺骗具有不同模态输入的模型将对现实世界的深度神经网络(DNN)应用构成高度威胁。上述考虑激发了我们对对抗性样本跨模态迁移性的研究。特别是，我们旨在从白盒图像模型生成视频对抗性示例，以攻击视频CNN和ViT模型。我们引入了基于观察的Image To Video (I2V)攻击，即图像和视频模型共享类似的低级特征。对于每个视频帧，I2V通过

了解本专栏 订阅专栏 解锁全文
TPAMI 2024 | AnyFace++：自由风格文本到人脸合成与操纵的统一框架
小白学视觉
12-06 88
人脸包含了丰富的语义信息，这些信息很难用有限的词汇量和复杂的句子模式来描述。然而，大多数现有的文本到图像合成方法只能基于训练集中包含的有限句子模板和词汇生成有意义的结果，这严重限制了这些模型的泛化能力。在本文中，我们定义了一种新颖的“自由风格”文本到人脸生成和操纵问题，并提出了一个有效的解决方案，名为AnyFace++，它适用于更广泛的开放世界场景。AnyFace++中涉及到CLIP模型，用于学习对齐的语言-视觉特征空间，这也扩展了可接受的词汇范围，因为它是在大规模数据集上训练的。
TPAMI 2024 | 点云分割领域自适应的组合语义混合
小白学视觉
09-11 440
当在不同传感器捕获或在变化环境中测试时，深度学习模型用于3D点云语义分割展现出有限的泛化能力，这是由于领域偏移所导致的。领域自适应方法可以用来减轻这种领域偏移，例如，通过模拟传感器噪声、开发领域不可知生成器或训练点云完成网络。通常，这些方法为范围视图图或需要多模态输入而量身定制。相比之下，图像领域的领域自适应可以通过样本混合来执行，这强调了输入数据的操作，而不是采用不同的自适应模块。在本研究中，我们引入了点云领域自适应的组合语义混合，这是第一个基于语义和几何样本混合的无监督领域自适应技术，用于点云分割。
论文翻译 - Cross-Modal Transferable Adversarial Attacks from Images to Videos
anniewwy的博客
03-21 808
最近的研究表明，在一个白盒模型上手工制作的对抗样本可用于攻击其他黑盒模型。这种跨模型可转移性使得执行黑盒攻击成为可能，这对现实世界的 DNN 应用程序提出了安全问题。然而，现有的工作主要集中在研究共享相同输入数据模态的不同深度模型之间的对抗性可迁移性。对抗性扰动的跨模态可迁移性从未被探索过。本文研究了对抗性扰动在不同模式下的可迁移性，即利用白盒图像模型生成的对抗性扰动来攻击黑盒视频模型。
Cross-Modal Transferable Adversarial Attacks from Images to Videos
weixin_49171105的博客
10-16 1179
本文研究了对抗扰动在不同模式下的可迁移性，即利用白盒图像模型上生成的对抗扰动来攻击黑盒模型。具体来说，由于观察到图像和视频帧之间的低级特征空间相似，本文提出了一种简单而有效的跨模态攻击方法，称为图像到视频攻击（I2V），I2V通过最小化来自对抗性和良性样本的预训练图像模型的特征之间的余弦相似性来生成对抗帧，然后结合生成的对抗帧对视频识别模型执行黑盒攻击。在本文中，对手无法访问有关视频模型的知识，I2V利用了从图像模型生成的对抗样本来在黑盒模型中攻击视频模型。f(x):输入视频的视频识别模型的预测。
Adversarial Attack on Deep Cross-Modal Hamming Retrieval
qq_39400568的博客
01-02 1915
Adversarial Attack on Deep Cross-Modal Hamming Retrieval ICCV-2021 1 Introduction 近来，汉明空间的跨模态检索(Cross Modal Hamming Retrieval，CMHR)又到越来越多的关注，这主要得益于深度神经网络出色的表示能力。另一方面，深度网络的脆弱性使深度跨模态检索系统暴露于各种安全风险之下。然而，攻击深度跨模态汉明检索仍未得到充分的探索。所以本文中提出了一种有效的对深度交叉模态汉明检索的对抗性攻击（Adver
【NeurIPS 2024】跨模态ReID对抗攻击的最新研究!Cross-Modality Perturbation Synergy Attack for Person Re-identificati
qq_23440751的博客
10-11 1818
【对抗攻击】跨模态行人重识别安全领域的最新研究！NeurIPS 2024： Cross-Modality Perturbation Synergy Attack for Person Re-identification 打开多模态攻击与防御的全新篇章，绝对不容错过！
【论文阅读】ACM MM 2024 PatchBackdoor 不修改模型的深度神经网络后门攻击
2401_84247341的博客
04-11 665
还有兄弟不知道网络安全面试可以提前刷题吗？费时一周整理的160+网络安全面试题，金九银十，做网络安全面试里的显眼包！王岚嵚工程师面试题（附答案），只能帮兄弟们到这儿了！如果你能答对70%，找一个安全工作，问题不大。对于有1-3年工作经验，想要跳槽的朋友来说，也是很好的温习资料！【完整版领取方式在文末！！
顶刊TPAMI 2024！多模态图像修复与融合新突破！DeepM2CDL：多种任务实现SOTA性能...
阿木寺的博客
06-22 1547
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【Mamba/多模态/扩散】交流群添加微信：CVer5555，小助手会拉你进群！扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！转载自：极市平台 | 作者：许静怡导读该工作瞄准跨模态图像间复杂的信息耦合特性，为多...
【论文精读】集合级指导攻击：提高视觉语言预训练模型的对抗性可迁移性
weixin_47748259的博客
04-11 974
标题：集合级指导攻击：提高视觉语言预训练模型的对抗性可迁移性。
TPAMI 2024 | 用事件检测运动模糊图像中的线段
小白学视觉
06-01 320
在运动模糊下提高线段检测器的可靠性是实际应用中最重要的挑战之一，例如在视觉SLAM和3D线映射等应用中。现有的线段检测方法在运动模糊发生时，面临着在准确检测和定位线段方面的严重性能下降。尽管如此，事件数据对于图像来说显示出强大的互补特性，具有最小模糊和高时间分辨率下的边缘感知能力，这可能有利于可靠的线段识别。为了在运动模糊中稳健地检测线段，我们提出了利用图像和事件的互补信息。
Arxiv | 过去十年中视觉任务中的对抗攻击：综述
四口鲸鱼爱吃盐的博客
11-04 2669
文章回顾了过去十年间针对视觉任务的对抗攻击的发展历程，并特别关注了大型视觉语言模型的新型攻击向量，如认知偏差、提示注入和越狱技术等。这些攻击对于开发更健壮的系统和揭开神经网络内部运作机制至关重要。
求助帖！各位大佬们，有保存过CVPR2018中一篇讲对抗学习+强化学习（GXN)跨模态图文检索论文的实现代码吗？
weixin_43393401的博客
12-15 381
求助帖！各位大佬们，有保存过CVPR2018中一篇讲对抗学习+强化学习（GXN)跨模态图文检索论文的实现代码吗？ 由于实验baseline的需要（github等没找到），所以想问下各位大佬有没有曾保存过这篇论文的实现代码。 原论文标题为《Look, Imagine and Match: Improving Textual-Visual Cross-Modal Retrieval with Generative Models》链接为https://arxiv.org/pdf/1711.06420.pdf 作者
2020AI顶会的腾讯论文解读 | 多模态学习、视频内容理解、对抗攻击与对抗防御等「AI核心算法」
九三智能控
09-18 4564
关注：决策智能与机器学习，深耕AI脱水干货报道 |腾讯AI实验室计算机视觉领域三大顶会之一的 ECCV（欧洲计算机视觉会议）今年于 8 月 23-28 日举办。受新冠肺炎疫情影响，今...
基于Rtd 2796方案的4K显示器方案：支持多种接口，适用于民用及专业应用领域，原理图与源代码共享
05-05
内容概要：本文详细介绍了Rtd 2796这款高性能4K显示器控制器的技术特点和应用场景。Rtd 2796支持多种显示接口，包括LVDS、VBO和eDP，适用于民用、工业、矿山和医疗等多个领域。文中通过具体的代码示例和技术细节，解释了如何配置这些接口以及它们的应用优势。此外，文章还探讨了硬件设计的关键点，如电源时序控制、信号完整性处理和硬件级画面拼接等功能。针对不同应用场景的需求，Rtd 2796提供了稳定的显示解决方案，并附带了详细的原理图和源代码，帮助开发者加快开发进度。 适合人群：电子工程师、硬件设计师、嵌入式开发人员、显示技术爱好者。 使用场景及目标：①民用领域：4K显示器、智能电视和平板电脑；②工业领域：工业自动化设备和控制面板；③矿山领域：矿山监控系统和设备显示屏；④医疗领域：医疗设备显示屏和手术室监控系统。目标是为用户提供稳定、高性能的4K显示解决方案。 其他说明：文章提供了丰富的技术细节和代码示例，有助于深入理解和实际应用。对于希望深入了解4K显示器技术和Rtd 2796控制器的读者来说，是一份极具价值的参考资料。
Rust音频处理实战：CPAL库实现实时音频流处理.pdf
05-05
文档支持目录章节跳转同时还支持阅读器左侧大纲显示和章节快速定位，文档内容完整、条理清晰。文档内所有文字、图表、函数、目录等元素均显示正常，无任何异常情况，敬请您放心查阅与使用。文档仅供学习参考，请勿用作商业用途。 Rust 以内存安全、零成本抽象和并发高效的特性，重塑编程体验。无需垃圾回收，却能通过所有权与借用检查机制杜绝空指针、数据竞争等隐患。从底层系统开发到 Web 服务构建，从物联网设备到高性能区块链，它凭借出色的性能和可靠性，成为开发者的全能利器。拥抱 Rust，解锁高效、安全编程新境界！
航天电磁阀单元化制造工艺与质量管控.pdf
最新发布
05-05
航天电磁阀单元化制造工艺与质量管控.pdf
Go语言编译器优化：-gcflags参数深度解析手册.pdf
05-05
文档支持目录章节跳转同时还支持阅读器左侧大纲显示和章节快速定位，文档内容完整、条理清晰。文档内所有文字、图表、函数、目录等元素均显示正常，无任何异常情况，敬请您放心查阅与使用。文档仅供学习参考，请勿用作商业用途。 编译闪电般迅速，并发性能卓越，部署轻松简单！Go 语言以极简设计理念和出色工程性能，成为云原生时代的首选编程语言。从 Docker 到 Kubernetes，全球顶尖科技企业都在采用 Go。点击了解 Go 语言的核心优势、实战窍门和未来走向，开启高效编程的全新体验！
基于python实现进行股票分析和选股+源码+项目文档+使用说明（毕业设计&课程设计&项目开发）
05-05
基于python实现进行股票分析和选股+源码+项目文档+使用说明，适合毕业设计、课程设计、项目开发。项目源码已经过严格测试，可以放心参考并在此基础上延申使用，详情见md文档 使用python进行股票历史数据下载和分析选股。除了选股策略以外，其他都可公开。 git网站上有很多优秀开源量化平台项目。本项目与其他项目的区别是，本项目侧重于选股、回测所需数据的导入工作。有了历史数据和选股策略，选择哪个量化平台做回测都是很轻松的事情了。 业余编程水平，需求导向。才疏学浅，刚学python几个月时间。git主要作为云端git库使用。无任何解答服务。 力求选择最稳定可靠的数据获取方式。虽然网上有很多数据源平台，但都受制于“积分”、带宽、平台是否更新等，完全是把程序主动权交到了对方手里。因此本项目所有数据依靠本地通达信软件导出提供
Rust异步定时任务：TokioCron调度器.pdf
05-05
文档支持目录章节跳转同时还支持阅读器左侧大纲显示和章节快速定位，文档内容完整、条理清晰。文档内所有文字、图表、函数、目录等元素均显示正常，无任何异常情况，敬请您放心查阅与使用。文档仅供学习参考，请勿用作商业用途。 Rust 以内存安全、零成本抽象和并发高效的特性，重塑编程体验。无需垃圾回收，却能通过所有权与借用检查机制杜绝空指针、数据竞争等隐患。从底层系统开发到 Web 服务构建，从物联网设备到高性能区块链，它凭借出色的性能和可靠性，成为开发者的全能利器。拥抱 Rust，解锁高效、安全编程新境界！
tpami2024图像去噪
03-29
### TPAMI 2024 年关于图像去噪的研究概述 在TPAMI 2024年的研究中，有一篇重要的论文提出了无需去噪的含噪图像表示方法[^1]。这项工作旨在解决具有挑战性的噪声退化问题，并提出了一种新的时频判别图像表示技术。这种方法不仅能够提供信息噪声鲁棒性，还能保持几何不变性，而不需要任何学习过程或显式的去噪操作。 具体而言，这种新方法适用于多种小规模鲁棒视觉问题，尤其是在安全和取证领域中的对抗假设场景下表现出显著潜力。其核心优势在于能够在不依赖传统去噪算法的情况下实现对含噪图像的有效表征，从而简化了处理流程并提高了效率。 此外，在多模态图像修复与融合方面也有相关进展。另一项研究表明，通过设计一种名为DeepMCDL的新颖可解释网络，可以有效应对复杂的图像恢复任务[^2]。尽管此部分重点并非完全集中于单一模式下的去噪问题，但它展示了如何利用深度学习框架结合字典学习机制来提升图像质量，这对于理解更广泛的图像增强策略提供了有价值的见解。 对于特定类型的干扰因素如雨水影响，则存在专门针对此类情况开发的技术方案。例如，“图像去雨Transformer”的研究成果涵盖了多个公开可用的数据集用于验证模型性能，其中包括但不限于Rain200H、Rain200L以及SPAData等[^3]。虽然这些资源主要用于评估去除降雨效果的能力，但从侧面反映了当前学术界对于复杂环境下信号提取的关注程度，这也间接促进了通用型图像去噪理论的发展方向。 综上所述，无论是专注于构建新型无监督式含噪图像表达方式还是探索跨域协作优化路径，都可以看出近年来围绕提高数字媒体抗干扰特性的科研活动正呈现出蓬勃发展的态势。 ```python # 示例代码片段展示可能应用于图像预处理阶段的操作逻辑 import numpy as np def apply_noise_robust_representation(image_array): # 假设此处实现了基于时频分析的方法 transformed_image = np.fft.fftshift(np.fft.fft2(image_array)) return abs(transformed_image) # 调用函数模拟输入输出转换过程 noisy_input = np.random.rand(256, 256) * 255 processed_output = apply_noise_robust_representation(noisy_input) ``` ####
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小白学视觉

您的赞赏是我们坚持下去的动力~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值