交叉注意力+特征融合神操作，登上Nature！计算速度狂提300%！

于 2025-04-09 10:17:53 发布
阅读量908 收藏 11
点赞数 6
文章标签： embedding 目标跟踪 YOLO java intellij-idea
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Aimoxin111/article/details/147086701
版权

2025深度学习发论文&模型涨点之——交叉注意力+特征融合

交叉注意力机制的核心在于通过查询（Query）、键（Key）和值（Value）的交互，动态地关注不同模态之间的相关性。特征融合则利用交叉注意力的输出，将不同模态的特征进行加权融合，权重由交叉注意力机制动态确定，以反映不同特征的重要性。

小编整理了一些交叉注意力+特征融合【论文】合集，以下放出部分，全部论文PDF版皆可领取。

需要的同学

回复“ 交叉注意力+特征融合”即可全部领取

论文精选

论文1：

Multi-Modality Cross Attention Network for Image and Sentence Matching

多模态交叉注意力网络用于图像与句子匹配

方法

    • 多模态交叉注意力机制：提出了一种新颖的交叉注意力机制，能够同时利用图像区域和句子词之间的关系，以及图像区域内部和句子词内部的关系，以增强图像与句子匹配的效果。

      自注意力模块：使用Transformer单元处理图像区域特征，使用BERT模型处理句子词特征，分别提取图像区域和句子词的内部关系。

      交叉注意力模块：将图像区域和句子词的特征堆叠后输入到Transformer单元，通过多头注意力机制同时考虑图像区域和句子词之间的关系，以及它们内部的关系。

      图片

    创新点

        • 联合建模：首次在统一的深度模型中联合建模图像区域和句子词之间的跨模态关系以及它们内部的内模态关系，显著提升了图像与句子匹配的性能。

          性能提升：在Flickr30K数据集上，图像到句子检索的R@1指标达到74.2%，句子到图像检索的R@1指标达到54.8%；在MS-COCO数据集上，图像到句子检索的R@1指标达到74.8%，句子到图像检索的R@1指标达到61.6%，均优于现有的先进方法。

          图片

        论文2：

        Feature Fusion Based on Mutual-Cross-Attention Mechanism for EEG Emotion Recognition

        基于互交叉注意力机制的特征融合用于EEG情绪识别

        方法

            • 互交叉注意力机制（MCA）：提出了一种新的特征融合机制，通过从两个特征方向应用注意力机制，实现了时间域和频率域特征的互补。

              3D-CNN网络：设计了一种定制的3D卷积神经网络，用于处理EEG数据的3D特征表示。

              特征提取：提取EEG数据的差分熵（DE）和功率谱密度（PSD）特征，并将它们作为MCA机制的输入。

              图片

            创新点

                  • 纯数学融合方法：首次提出了一种纯数学的特征融合方法，结合定制的3D-CNN，实现了时间域和频率域特征的有效融合。

                    性能提升：在DEAP数据集上，情绪识别的准确率达到了99.49%（情绪效价）和99.30%（情绪唤起度），显著高于现有的先进方法。

                    图片

                  论文3：

                  MMViT Multiscale Multiview Vision Transformers

                  多尺度多视图视觉变换器

                  方法

                  • 多尺度特征图：在变换器模型中引入多尺度特征图，通过多尺度金字塔结构处理不同分辨率的输入。

                    多视图编码：采用多视图编码，通过不同的视图生成输入信号的多个表示，并通过交叉注意力块在不同视图之间融合信息。

                    交叉注意力块：在每个尺度阶段使用交叉注意力块，以在不同视图之间传递和融合信息。

                    图片

                  创新点

                        • 多尺度多视图融合：结合了多尺度和多视图特征，提高了模型的表示学习能力，显著提升了性能。

                          性能提升：在ImageNet1K数据集上，图像分类的Top1准确率达到83.2%，优于现有的多尺度视觉变换器（MViT）模型。

                          图片

                        论文4：

                        2D-3D Interlaced Transformer for Point Cloud Segmentation with Scene-Level Supervision

                        具有场景级监督的2D-3D交错变换器用于点云分割

                        方法

                          • 多模态交错变换器（MIT）：提出了一种新的变换器模型，包含两个编码器和一个解码器，用于弱监督点云分割。

                            编码器：一个编码器处理3D点云，另一个编码器处理2D多视图图像，分别提取各自的特征。

                            解码器：解码器通过交错的2D-3D交叉注意力实现2D和3D特征的隐式融合，交替更新3D点云和2D图像的特征。

                            图片

                          创新点

                              • 首次尝试：首次在场景级监督下融合2D和3D信息进行点云分割，无需额外的2D图像标注。

                                性能提升：在S3DIS和ScanNet基准测试中，与现有的弱监督点云分割方法相比，性能大幅提升。例如，在ScanNet数据集上，使用场景级标签的MIT方法达到了35.8%的mIoU，优于其他方法。

                                无需额外数据：在不依赖相机姿态或深度图的情况下，实现了2D和3D特征的有效融合，降低了数据收集和处理的负担。

                                图片

                              小编整理了交叉注意力+特征融合论文代码合集

                              需要的同学

                              回复“ 交叉注意力+特征融合”即可全部领取

                              Ai墨芯111
                              关注
                              Stable Diffusion初步见解（四）：交叉注意力机制
                              m0_75253143的博客
                              11-26 3470
                              是 Stable Diffusion 模型中一个关键的技术组件，它使得模型能够有效地将融入到过程中。通过交叉注意力机制，Stable Diffusion 能够根据用户提供的文本提示生成符合描述的图像。
                              机器学习之交叉注意力
                              JustinMars的博客
                              05-20 1327
                              交叉注意力（Cross-Attention）是一种注意力机制，用于处理两个不同序列之间的依赖关系。相比于自注意力（Self-Attention），交叉注意力在多模态任务（如图像和文本匹配）或序列到序列任务（如机器翻译）中应用广泛。下面是交叉注意力机制的详细介绍和一个实现示例。
                              使用基于注意力的编码器-解码器实现医学图像描述
                              deephub
                              10-16 5630
                              图像描述是生成图像文本描述的过程。它使用自然语言处理和计算机视觉来为图像生成描述的文本字幕。一幅图像可以有很多个不同的描述，但是只要它正确地描述了图像，并且描述涵盖了图像中的大部分信息就可以说是没问题的。下面是示例图片和生成的描述文字。我们能够成功地为x射线图像生成标题(发现)，并能够通过带有GRUs的基于全局注意力的编码器-解码器模型实现约28.3%的BLEU评分。
                              暴力涨点！交叉注意力+特征融合，为何频登顶会？
                              2401_88556812的博客
                              11-22 2799
                              交叉注意力机制允许模型在一个模态的特征上关注另一个模态的特征，从而实现不同模态之间的信息交互。提出了一种新颖的交叉注意力机制，不仅能够利用每种模态内部的内模态关系，还能够利用图像区域和句子单词之间的外模态关系，以互补和增强图像和句子匹配。提出了一种新颖的交叉注意力模块，能够不仅利用每种模态内部的内模态关系，还能够利用图像区域和句子单词之间的外模态关系，以互补和增强图像和句子匹配。提出了一种新颖的多模态交叉注意力网络，通过在统一的深度模型中联合建模图像区域和句子单词的内模态和外模态关系，用于图像和句子匹配。
                              什么是Cross Attention（交叉注意力）？详细解析与应用
                              最新发布
                              阿正的梦工坊
                              03-12 5390
                              Cross Attention 的核心在于：它允许一个序列（称为 Query，查询）去关注另一个序列（称为 Key 和 Value，键和值），从而实现信息的融合。
                              【深度学习中的注意力机制10】11种主流注意力机制112个创新研究paper+代码——交叉注意力（Cross-Attention）
                              985小水博的摸鱼日常
                              10-25 3797
                              【深度学习中的注意力机制10】11种主流注意力机制112个创新研究paper+代码——交叉注意力（Cross-Attention）
                              【AI知识点】交叉注意力机制（Cross-Attention Mechanism）
                              AI完全体
                              10-03 2万+
                              交叉注意力机制（Cross-Attention Mechanism） 是一种在深度学习中广泛使用的技术，尤其在序列到序列（sequence-to-sequence）模型和Transformer 模型中被大量应用。它主要用于不同输入之间的信息交互，使模型能够有效地将来自不同来源的上下文进行对齐和关注，从而帮助模型更好地捕捉两个输入之间的相关性。
                              交叉注意力机制CrossAttention
                              热门推荐
                              m0_63097763的博客
                              08-15 7万+
                              Cross-Attention is All You Need: Adapting Pretrained Transformers for Machine Translation、Cross-Attention is All You Need: Adapting Pretrained Transformers for Machine Translation、CrossAttention的计算过程、Encoder-Decoder架构中CrossAttention的输入要求略有不同
                              交叉注意力机制
                              m0_56744512的博客
                              06-02 229
                              结果是元组第0个元素，它的维度是(L,N,embed_dim)，L是序列步长，它的值取决于q的步长。调用nn.MultiheadAttention(embed_dim,num_heads=1)可以实现。输入q,k,v，另外设置need_weights参数可以控制是否输出权重。
                              登上Nature！交叉注意力机制 发顶会流量密码！
                              m0_73122726的博客
                              01-15 315
                              基于这些提取的图像区域和句子词的细粒度表示，使用自注意模块对模态内关系进行建模，并采用交叉注意模块对图像区域和语句词的模态间和模态内关系建模。例如，在图像与文本的结合中，模型可以通过注意力机制识别出图像中的重要部分，并将其与相关文本信息进行关联，从而提升理解能力。文本驱动的图片生成扩展到图片编辑，编辑对于生成模型具有挑战性由于需要保留大部分原始图片，然而在基于文本的模型中，即使文本仅有一个微小的改变也会导致完全不同的输出。作者提出了一种简单的方法，可以实现鲁棒的布局控制，而不需要训练或微调图像生成器。
                              多尺度特征融合太好出论文了！轻轻松松登Nature
                              d22800的博客
                              02-20 1017
                              多尺度特征融合是一种在计算机视觉领域广泛应用的技术，其核心思想是将不同尺度的特征图进行融合，以提高模型对目标的检测、分割或识别能力。今天就多尺度特征融合整理出了论文+开源代码，以下是精选部分论文 更多论文料可以关注：AI科技探寻，发送：111 领取更多[论文+开源码】 论文解读：多级特征融合（HS-FPN）：设计了高阶筛选特征融合金字塔（HS-FPN），通过通道注意力模块利用高层特征作为权重筛选低层特征信息，并将其与高层特征合并，增强模型的特征表达能力。可变形自注意力机制：在编码器中引入多尺度可变形自
                              结合创新！LSTM+Transformer新成果登Nature，精度高达95.65%
                              学姐带你玩AI的博客
                              04-26 1万+
                              LSTM通过门控机制有效捕捉序列中的长期依赖关系，防止梯度消失或爆炸，在处理具有长期依赖性的时间序列数据时有显著优势。而Transformer通过自注意力和多头注意力机制全面捕捉序列依赖，能够同时考虑输入序列中的所有位置，更好地理解上下文关系，实现高效的并行计算。这种策略结合了两者的优势，在各种序列分析任务中实现了更精确的预测、更好的性能表现、更高的训练效率。比如登上Nature子刊的最新混合架构，以及精度高达95.65%的BiLSTM-Transformer。本文整理了。
                              大模型~合集14
                              whaosoft143ai的博客
                              05-25 486
                              为了解决上述问题，作者提出了一种基于注意力的高效模块，它能够利用 GPU 并行性，同时又能高效更新。首先，作者在第 3.1 节中表明，注意力可被视为一种 RNN，具有高效计算多对一 RNN（图 1a）输出的特殊能力。利用注意力的 RNN 形式，作者进一步说明，基于注意力的流行模型，如 Transformer（图 1b）和 Perceiver（图 1c），可以被视为 RNN。whaosoft aiot http://143ai.com
                              两万字，清华刘云浩教授回答新生关于AI的90个问题
                              BigDataDigest的博客
                              08-05 1503
                              大数据文摘授权转载自清华招生8月1日，一个好消息备受瞩目：清华大学依托精密仪器系的类脑计算研究中心施路平教授团队开发出全球首款异构融合类脑计算芯片——“天机芯”！该芯片是面向人工通用智能的世界首款异构融合类脑计算芯片。基于此研究成果的论文作为封面文章登上了8月1日《自然》（Nature ）。研究团队还展示了由该芯片驱动的“无人驾驶自行车”。与此同时，清华大学软件学院教授刘云浩亲手写下了这...
                              【深度】交叉注意力机制
                              weixin_50862344的博客
                              06-10 7288
                              交叉注意力机制，也称为cross-attention，是指在注意力机制中，一个序列中的某个位置与另一个序列中的所有位置进行注意力计算。
                              交叉注意力控制
                              wangyunpeng33的博客
                              03-25 1094
                              我们可以通过在扩散过程中注入交叉注意力映射来编辑图像，控制哪个像素在哪个扩散步骤中关注提示文本的哪个标记。当在提示符中交换一个单词时，我们注入源图像映射Mt，覆盖目标图像映射M∗t，以保持空间布局。在添加新短语的情况下，我们只注入与提示符未更改部分对应的映射。第二种是全局编辑图像，例如，通过在提示符中添加新词并冻结对先前标记的注意力，同时允许新的注意力流向新的标记来更改样式。第一种方法是在固定交叉注意力映射的同时，改变提示符中的单个标记值(例如，“狗”改为“猫”)，以保留场景组成。
                              多头注意力（Multi-Head Attention）和交叉注意力（Cross-Attention）是两种常用的注意力机制的原理及区别
                              ywfwyht的博客
                              10-16 5万+
                              在类的初始化函数中，我们需要设置注意力头数num_heads，以及每个注意力头的k维度k_dim和v维度v_dim。在前向传播函数中，我们使用全连接层将x1投影到k_dim * num_heads维度，x2投影到k_dim * num_heads和v_dim * num_heads的空间，再将结果按注意力头和k_dim/v_dim维度进行调整。注意力计算完成后，将得分与v相乘，再将结果按注意力头和v_dim维度进行调整，最终使用全连接层将结果投影会in_dim维度，即可得到多头注意力计算的结果。
                              什么是cross attention(交叉注意力机制)
                              weixin_51302377的博客
                              02-14 1695
                              它主要涉及到两个不同的输入序列之间的注意力计算，通过计算一个序列中的元素对另一个序列中元素的关注度来获取更有价值的信息表示。当生成目标语言句子中的一个单词时，通过交叉注意力，模型可以根据源语言句子中各个单词与当前要生成单词的相关性，来决定从源语言句子的哪些部分获取更多信息。首先，我们会通过线性变换等操作将序列 A 和序列 B的元素分别映射到一个查询（Query）空间、键（Key）空间和值（Value）空间。在交叉注意力中，对于序列 A 中的每个元素，我们会计算它与序列。，对于序列 B 的元素。
                              推荐项目：双向交叉注意力（Bidirectional Cross Attention）
                              gitblog_01189的博客
                              08-30 1543
                              推荐项目：双向交叉注意力（Bidirectional Cross Attention） bidirectional-cross-attentionA simple cross attention that updates both the source and target in one step项目地址:https://gitcode.com/gh_mirrors/bi/bidirection...
                              图片的交叉注意力机制
                              01-05
                              ### 图像处理中的交叉注意力机制 #### 交叉注意力机制概念 交叉注意力机制是一种用于捕捉不同模态间依赖关系的技术，在图像处理领域主要用于融合多源信息。通过该机制可以有效地将来自两个不同输入序列的信息进行对齐和交互，从而增强模型对于复杂场景的理解能力[^2]。 #### 实现方法 在具体实现上，通常会构建查询(Query)、键(Keys) 和值(Values)，其中一方作为Query而另一方则提供Keys与Values。计算过程中先求得两者之间的相似度得分矩阵，再经过softmax函数转换成权重分布最后加权求和得到输出特征向量表示形式。这种设计允许网络自动学习哪些部分应该重点关注以及如何组合这些关注点来形成最终表达[^4]。 ```python import torch.nn as nn class CrossAttention(nn.Module): def __init__(self, dim_in, dim_out=None): super().__init__() self.query_conv = nn.Conv2d(dim_in, dim_out or dim_in, kernel_size=1) self.key_conv = nn.Conv2d(dim_in, dim_out or dim_in, kernel_size=1) self.value_conv = nn.Conv2d(dim_in, dim_out or dim_in, kernel_size=1) def forward(self, query_x, key_value_y): Q = self.query_conv(query_x).flatten(start_dim=2) K = self.key_conv(key_value_y).flatten(start_dim=2) V = self.value_conv(key_value_y).flatten(start_dim=2) attention_scores = (Q @ K.transpose(-2,-1)) / ((K.shape[-1])**0.5) attention_weights = F.softmax(attention_scores,dim=-1) output_features = attention_weights @ V return output_features.unflatten(-1,key_value_y.shape[-2:]) ``` #### 应用案例 - **语义分割**：利用交叉注意力能够更好地关联全局上下文信息，帮助提高边界区域预测精度； - **目标检测**：有助于建立前景对象与其他背景元素间的联系，进而改善定位准确性； - **跨域迁移学习**：当训练数据集与测试环境存在差异时，借助此技术可促进知识传递并缓解过拟合现象[^3]。
                              评论
                              添加红包

                              请填写红包祝福语或标题

                              个

                              红包个数最小为10个

                              元

                              红包金额最低5元

                              当前余额3.43元 前往充值 >
                              需支付：10.00元
                              成就一亿技术人!
                              领取后你会自动成为博主和红包主的粉丝 规则
                              hope_wisdom
                              发出的红包
                              实付元
                              使用余额支付
                              点击重新获取
                              扫码支付
                              钱包余额 0

                              抵扣说明：

                              1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
                              2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

                              余额充值