论文阅读-Attention Bottlenecks for Multimodal Fusion（多模态特征融合）

最新推荐文章于 2024-07-16 10:33:56 发布
最新推荐文章于 2024-07-16 10:33:56 发布
阅读量1.5k 收藏 15
点赞数 1
分类专栏： 读论文 文章标签： 论文阅读 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43687860/article/details/129295620
版权
本文介绍了一种新的多模态融合方法，称为注意力瓶颈Transformer（MBT），用于解决多模态学习中计算复杂度和冗余信息的问题。MBT限制了跨模态注意力，通过引入注意力瓶颈单元在不同模态之间进行信息交换，从而在降低计算成本的同时提高性能。论文在AudioSet、Epic-Kitchens-100和VGGSound等数据集上进行了实验，验证了方法的有效性。
摘要由CSDN通过智能技术生成

一、论文信息

论文题目：Attention Bottlenecks for Multimodal Fusion

paperwithcode：https://paperswithcode.com/paper/attention-bottlenecks-for-multimodal-fusion

Github：https://github.com/google-research/scenic/tree/main/scenic/projects/mbt

会议：NIPS2021 

作者团队：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
云计算实战应用案例精讲-【深度学习】多模态融合（最终篇）
qq_36130719的博客
04-19 1106
一般来说，模态是指事物发生或存在的方式，多模态是指两个或者两个以上的模态的各种形式的组合。对每一种信息的来源或者形式，都可以称为一种模态（Modality），目前研究领域中主要是对图像，文本，语音三种模态的处理。之所以要对模态进行融合，是因为不同模态的表现方式不一样，看待事物的角度也会不一样，所以存在一些交叉（所以存在信息冗余），互补（所以比单特征更优秀）的现象，甚至模态间可能还存在多种不同的信息交互，如果能合理的处理多模态信息，就能得到丰富特征信息。即概括来说多模态的显著特点是： 冗余性 和 互补性。
【论文精读】Attention Bottlenecks for Multimodal Fusion 视频分类任务
"You are worthy! You can do it!"
03-05 1712
人类通过多模态输入来处理信息感知世界。机器感知模型却通常是单模态的。从每种模态中合并得到最终表示或预测（“late-fusion”）仍然是多模态视频分类的主要范式。相反，本文引入了一种新的基于Transformer的架构，该架构使用“fusion bottlenecks 融合瓶颈”进行多层模态融合。与传统的成对自我注意力相比，该模型迫使不同模态之间的信息通过少量的bottleneck latents 瓶颈延迟，要求模型整理和浓缩每个模态中的相关信息，并共享必要的信息。
【多模态】《Attention Bottlenecks for Multimodal Fusion》论文阅读笔记
qq_36643449的博客
05-25 1557
一、概述 这篇文章做的是视频分类，即通过视频帧的特征和声音特征这两种模态进行多模态融合并分类。 这篇文章的思路非常巧妙，采用了Transformer的结构对多种模态的特征进行了编码，因为Transformer本身就是一个编码器，这篇文章的巧妙之处就在于使用的是一个Transformer对两种模态进行编码。同时，在本文的模型框架中，在早期的时候，在模态内部做self attention；在中后期的时候，在模态之间做attention。而且这是可以动态进行调整的，也就是说可以通过调整参数来控制在一个Transf
【多模态特征融合】A Joint Cross-Attention Model for Audio-Visual Fusion in Dimensional Emotion Recognition
weixin_46687145的博客
07-13 1016
多模态情感识别最近受到了广泛关注，因为它能够利用多种模态（如音频、视觉和生物信号）之间的多样性和互补关系。大多数先进的音频-视觉（A-V）融合方法依赖于循环神经网络或传统的注意力机制，但这些方法没有有效地利用A-V模态之间的互补特性。在这篇论文中，我们专注于基于从视频中提取的面部和声音模态融合的维度情感识别。具体而言，我们提出了一种联合交叉注意力模型，该模型依赖于互补关系来跨A-V模态抽取显著特征，从而实现对效价和唤醒度的连续值准确预测。
【论文阅读】Attention Bottlenecks for Multimodal Fusion---多模态融合，音视频分类，注意力机制
热门推荐
me_yundou的博客
03-01 1万+
本文任务是视频分类，方法是多模态视觉（图像）和音频融合。主要是对transformer结构中attention层进行修改，使之可以处理多模态信息，且降低计算量。 本博客系本人阅读该论文，结合个人理解所写，非逐句翻译，欲知文章详情，请参阅论文原文。 ...
粗读Attention Bottlenecks for Multimodal Fusion
qq_42578970的博客
02-21 396
本文提出的模型针对的是视频分类。众所周知，视频中，画面和声音往往是互相联系的，比如音频出现爆炸声时，视频一般会出现火光。在此之前，视频分类中，信息只在每帧视频的不同区域之间通过ViT互相传递，音频信息也只通过AST互相传递影响，不会综合考虑两种信息。 上图第一张小图即为传统的视频分类方式。作者提出了两种方式，一种是在靠后的层中（later layers），将两部分信息进行相互传递，另一种是两种信息不直接互相传递，而是借助一个bottleneck模块。将这两种思路融合（不...
《论文阅读笔记》Attention Bottlenecks for Multimodal Fusion
qq_52679708的博客
01-07 450
人们对世界的认知，对信息的处理是多模态的，而大多的机器学习模型却是仅针对单模态的。同时，处理多模态问题的模型，大多还是使用late-stage的fusion方法，先分别处理单个模态数据之后fusion为多模态结果。本文提出一种基于transformer的多层fusion方法，借助于“fusion bottlenecks”。本文让不同模态的信息穿过许多小的bottlenecks，迫使模型collate和share不同模态中最重要的信息。作者发现通过这种方式，模型的fusion性能更好，且计算消耗降低。本文做了
Attention Bottlenecks for Multimodal Fusion论文阅读笔记
嗑研狗的日常
10-19 3163
Attention Bottlenecks for Multimodal Fusion论文阅读笔记 一、相关信息 1、论文名称： Attention Bottlenecks for Multimodal Fusion 2、论文地址： https://arxiv.org/pdf/2107.00135v1.pdf 3、引用方式： @article{nagrani2021attention, title={Attention bottlenecks for multimodal fusion}, auth
NeurIPS2021 MBT：多模态数据怎么融合？谷歌提出基于注意力瓶颈的方法，简单高效还省计算量...
我爱计算机视觉
10-31 2825
关注公众号，发现CV技术之美本文分享 NeurIPS 2021 论文『Attention Bottlenecks for Multimodal Fusion』，思考《MBT》多模态数据怎么...
【YOLOv8改进 - 特征融合NECK】 GIRAFFEDET之GFPN ：广义特征金字塔网络，高效地融合多尺度特征
最新发布
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
07-16 730
在传统的目标检测框架中，通常采用从图像识别模型继承的主干网络来提取深层潜在特征，然后通过颈部模块融合这些潜在特征，以捕捉不同尺度的信息。由于目标检测中的分辨率远高于图像识别，主干网络的计算成本往往占据总推理成本的主要部分。这种重型主干设计范式主要是由于将图像识别模型转移到目标检测中时的历史遗留，而不是针对目标检测进行的端到端优化设计。在本研究中，我们表明这种范式确实导致了次优的目标检测模型。为此，我们提出了一种新颖的重型颈部范式，GiraffeDet，这是一种类长颈鹿的高效目标检测网络。
阅读论文：Bottleneck Attention Module
m0_61407792的博客
10-19 224
从论文中可以了解到本模块可以与任何前馈卷积神经网络集成，它沿着通道和空间两条不同的路径推断出attention map。模块结构图如下： 首先对于输入的feature map（F）进行两次操作，一条路径是类似于SEnet的结构，先对F全局池化，得到一个的通道向量。然后在使用一个多层感知机（MLP），目的是为了从通道向量Fc估计跨通道的注意力，为了节省参数开销，将隐藏激活大小设置为RC/r×1×1，其中r是缩减率。最后批处理规范化 ...
多模态融合(六)An Improved Attention for Visual Question Answering
csdn_tclz的博客
11-29 659
背景 论文来源https://arxiv.org/abs/2011.02164 暂未接收 可信度值得考量 这篇论文是在杭电MCAN论文基础上做的改进。 摘要 作者提出了一种Attention on Attention(AoA)的方法以及新的多模态融合方法以用于VQA任务中。 动机 作者认为，MACN中使用的SA和GA的不足： 尽管这种注意力的表达方式和高度灵活，但它仍有局限性。具体来说，结果总是模型所关注的值对的加权组合。当模型所处的没有紧密相关的上下文时(例如，一个单词没有上下文单词或图像区域存在)，这
[mPLUG]: Effective and Efficient Vision-Language Learning by Cross-modal Skip-connections多模态特征融合方法泛读
yangyanbao8389的博客
11-18 1059
模型首先在前几层采用非对称的co-attention架构，通过移除视觉侧的co-attention来提高效率，再将原始的视觉表示和语言侧的co-attention的输出串联输入到一层self-attention。对比不同多模态融合方法的耗时和性能，其中Asymmetric co-attention融合是BLIP模型中的结构，Encoder端的text特征与vit输出的image特征进行Cross-attention特征融合。视觉和语言的表征输入到由多个跳跃连接融合块组成的跨模态跳跃连接网络中。
多模态 | Supervised Prototypical Contrastive Learning for Emotion Recognition in Conversation论文详解及实现
weixin_44649780的博客
05-12 820
论文在对话中捕捉情绪在现代对话系统中起着至关重要的作用。然而，情感和语义之间的弱相关性给会话中的情感识别（ERC）带来了许多挑战。即使是语义相似的话语，情绪也可能因上下文或说话者而有很大差异。在本文中，为 ERC 任务提出了监督原型对比学习 (SPCL) 损失。利用原型网络，SPCL 旨在通过对比学习解决不平衡分类问题，并且不需要大批量。同时，我们设计了一个基于班级距离的难度度量函数，引入课程学习来减轻极端样本的影响。论文在三个广泛使用的基准测试中取得了最先进的结果。
[深度学习论文笔记]Cross-Modality Deep Feature Learning for Brain Tumor Segmentation
Slientsake的博客
05-01 1152
Cross-Modality Deep Feature Learning for Brain Tumor Segmentation 跨通道深度特征学习在脑肿瘤分割中的应用 Published : Pattern Recognition 2021 论文：https://arxiv.org/abs/2201.02356 代码：   机器学习和数字医学图像的流行，为利用深度卷积神经网络解决具有挑战性的脑肿瘤分割(BTS)任务提供了机会。然而，与广泛应用的RGB图像数据不同，用于脑肿瘤分割的医学图像数据在数据尺度上
【红外可见光融合】CrossFuse: A novel cross attention mechanism based infrared andvisibleimage fusion approach
learnererer的博客
03-09 1545
可能的研究方向是将额外的机器学习方法，如稀疏表示和度量学习，整合到交叉注意力机制中，以增强其效果。
论文阅读06——《CaEGCN: Cross-Attention Fusion based Enhanced Graph Convolutional Network for Clustering》
小吴不会敲代码吧
05-12 2783
本文介绍Huo等人发表的论文《CaEGCN: Cross-Attention Fusion based Enhanced Graph Convolutional Network for Clustering》，主要介绍了其中的交叉注意力融合模块和图自编码器的两种损失函数，给出GitHub上的源代码地址。...
self attention multimodal
08-12
- *2* [【论文阅读】Attention Bottlenecks for Multimodal Fusion---多模态融合，音视频分类，注意力机制](https://blog.csdn.net/me_yundou/article/details/121070837)[target="_blank" data-report-click={"spm...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值