科研学习|论文解读——交叉注意力融合2024经典论文（配套模块和代码）

已于 2024-04-25 10:51:38 修改
阅读量1.2w 收藏 84
点赞数 25
分类专栏： 科研学习 # 论文解读 # 深度学习【算法】 文章标签： 学习 多模态 注意力 交叉注意力融合
于 2024-04-25 10:21:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/admin_maxin/article/details/138181060
版权
本文探讨了多模态学习和注意力机制中的交叉注意力融合技术，介绍了13个关键的创新成果，包括端到端的图像融合方法、多光谱目标检测、点云分割等领域的解决方案。这些研究展示了交叉注意力在提升模型性能和复杂任务处理中的潜力。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

多模态学习和注意力机制是当前深度学习研究的热点领域之一，而交叉注意力融合作为这两个领域的结合点，具有很大的发展空间和创新机会。

作为多模态融合的一个重要组成部分，交叉注意力融合通过注意力机制在不同模块之间建立联系，促进信息的交流和整合，从而提升了模型处理复杂任务的能力，展现出其在多模态学习和聚类分析等领域的强大优势。

本文盘点交叉注意力融合相关的13个技术成果，包含2024年最新的研究，这些模块的来源文章以及代码我都整理了，希望能给各位的论文添砖加瓦。

一、Rethinking Cross-Attention for Infrared and Visible Image Fusion

方法：（https://arxiv.org/pdf/2401.11675.pdf）

本文提出了一种端到端的ATFuse网络，用于融合红外图像。通过在交叉注意机制的基础上引入差异信息注入模块（DIIM），可以分别探索源图像的独特特征。同时，作者还应用了交替公共信息注入模块（ACIIM），以充分保留最终结果中的公共信息。为了训练ATFuse，作者设计了一个由不同像素强度约束组成的分割像素损失函数，以在融合结果中达到纹理细节和亮度信息的良好平衡。

创新点：

  1. 提出了一种端到端的ATFuse网络，用于融合IV图像。在多个数据集上进行的大量实验表明，我们提出的ATFuse方法具有良好的效果和泛化能力。
  2. 基于交叉注意机制提出了一种差异信息注入模块（DIIM）。通过这个DIIM，可以分别探索源图像的独特特征。
  3. 将交替公共信息注入模块（ACIIM）应用于所提出的框架中，其中公共信息在最终结果中得到充分保留。
  4. 设计了由不同像素强度约束组成的分割像素损失函数，用于训练ATFuse，以便在融合结果中实现纹理细节和亮度信息的良好权衡。

最低0.47元/天 解锁文章
从零开始构建机器学习平台——架构设计、模块拆解及实现方案
AI天才研究院
08-10 1218
概述在当今数据驱动的时代,机器学习已经成为众多行业和领域的核心技术。然而,构建一个完整、高效且可扩展的机器学习平台仍然是一项复杂的工程挑战。从数据收集和预处理,到模型训练、评估和部署,再到持续监控和优化,每个环节都需要精心设计和实现。本文旨在为读者提供一个全面的指南,详细介绍如何从零开始构建一个功能完备的机器学习平台。我们将深入探讨平台的整体架构设计,各个关键模块的功能和实现,以及在实际开发过程中可能遇到的挑战和解决方案。
深度学习与目标检测系列(三) 本文约(4万字) | 全面解读复现AlexNet | Pytorch |
专注于人工智能学习，总结
12-31 1058
我们训练了一个庞大的深层卷积神经网络，将ImageNet LSVRC-2010比赛中的120万张高分辨率图像分为1000个不同的类别。在测试数据上，我们取得了37.5％和17.0％的前1和前5的错误率，这比以前的先进水平要好得多。具有6000万个参数和650,000个神经元的神经网络由五个卷积层组成，其中一些随后是最大池化层，三个全连接层以及最后的1000个softmax输出。为了加快训练速度，我们使用非饱和神经元和能高效进行卷积运算的GPU实现。
交叉注意力机制CrossAttention
热门推荐
m0_63097763的博客
08-15 7万+
Cross-Attention is All You Need: Adapting Pretrained Transformers for Machine Translation、Cross-Attention is All You Need: Adapting Pretrained Transformers for Machine Translation、CrossAttention的计算过程、Encoder-Decoder架构中CrossAttention的输入要求略有不同
交叉注意力融合2024创新方案汇总，附配套模块和代码
学姐带你玩AI的博客
01-31 9815
多模态学习和注意力机制是当前深度学习研究的热点领域之一，而交叉注意力融合作为这两个领域的结合点，具有很大的发展空间和创新机会。作为多模态融合的一个重要组成部分，交叉注意力融合通过注意力机制在不同模块之间建立联系，促进信息的交流和整合，从而提升了模型处理复杂任务的能力，展现出其在多模态学习和聚类分析等领域的强大优势。本文盘点，包含2024年最新的研究，这些模块的来源文章以及代码我都整理了，希望能给各位的论文添砖加瓦。论文和模块代码需要的同学看文末。
ICAFusion：迭代交叉注意力引导的特征融合，实现多光谱目标检测
最新发布
gitblog_00423的博客
03-30 284
ICAFusion：迭代交叉注意力引导的特征融合，实现多光谱目标检测 ICAFusion ICAFusion: Iterative Cross-Attention Guided Feature Fusion for Multispectral Object Detection, Pattern Recognition ...
论文阅读06——《CaEGCN: Cross-Attention Fusion based Enhanced Graph Convolutional Network for Clustering》
小吴不会敲代码吧
05-12 3041
本文介绍Huo等人发表的论文《CaEGCN: Cross-Attention Fusion based Enhanced Graph Convolutional Network for Clustering》，主要介绍了其中的交叉注意力融合模块和图自编码器的两种损失函数，给出GitHub上的源代码地址。...
图像融合论文阅读：CrossFuse: 一种基于交叉注意机制的红外与可见光图像融合方法
图像强的博客
01-08 9399
以往的交叉注意力只考虑相关性，而图像融合任务需要关注互补信息。 为了解决这个问题，作者提出了CrossFuse，使用【交叉注意力机制CAM】增强互补信息，使用了两阶段训练策略。 第一阶段为两种模态训练结构相同的自编码器 第二阶段固定编码器参数，训练CAM和解码器
CrossViT: Cross-Attention Multi-Scale Vision Transformer for Image Classification（论文阅读笔记）
Li_yan的博客
11-19 2667
CrossViT: Cross-Attention Multi-Scale Vision Transformer for Image Classification（论文阅读笔记）
论文阅读 | Cross-Attention Transformer for Video Interpolation
bettii的博客
02-28 1801
ACCV2022wrokshop用transformer做插帧的文章，q，kv，来自不同的图像
NTIRE2022双目超分赛道冠军方案解读——NAFSSR
weixin_43800577的博客
04-09 1898
双目超分旨在从成对的低分辨率左右图像中重建出高分辨率的细节。对于这个目标来说，单视角的上下文信息（intra-view information）和左右图像之间的信息（cross-view information）是尤为关键的。
YOLOv10有效涨点专栏目录 | 包含卷积、主干、检测头、注意力机制、Neck、二次创新、独家创新等上百种创新机制
Snu77的博客
07-15 1万+
Hello，各位读者们好本专栏自开设以来已经更新改进教程100余篇其中包含二次创新、独家创新多种改进方法，包含C2f、主干、检测头、注意力机制、Neck多种结构，也有损失函数和一些细节点上的创新。同时本人一些讲解视频和包含我所有创新的YOLOv10文档并不能在CSDN上传，通过建立交流群的形式在内上传我完整的文件和视频我也会在群内不定期和大家交流回答大家问题。专栏介绍。
论文解析[11] CAT: Cross Attention in Vision Transformer
默的博客
03-05 2176
使用图像patch来替换transformer中的word token所需要的计算量是巨大的。在本论文中，我们在Transformer中提出了一种新的注意机制，称为交叉注意力。在图像patch内部而不是整张图像中捕获局部信息，在单通道特征图中的图像patch之间捕获全局信息。两个操作都比Transformer中的标准自注意力有更少的计算量。通过在patch内和patch间交替应用注意力，我们实现了交叉注意力以更低的计算代价保持性能，构建了一个称为交叉注意力Transformer（CAT）的分层网络。
【论文阅读】Stacked Cross Attention for Image-Text Matching
irene@1999的博客
10-11 3191
Stacked Cross Attention for Image-Text Matching介绍方法图像预处理文本预处理堆叠交叉注意力机制image2txttxt2image损失函数实验结果 论文发表时间：2018 论文作者：Kuang-Huei Lee1, Xi Chen1, Gang Hua1, Houdong Hu1, and Xiaodong He2? 论文地址：https://arxiv.org/abs/1803.08024 代码地址：https://github.com/kuanghuei/S
【深度学习】Cross-Attention（交叉注意力）机制详解与应用
欢迎来到我的CSDN个人博客主页！
03-24 3165
Cross-Attention（交叉注意力）是一种特殊的注意力机制，用于处理两个不同序列或模态之间的关系。与Self-Attention（自注意力）不同，Cross-Attention允许一个序列（查询序列）通过注意力机制来关注另一个序列（键值序列）中的信息。简单来说，Cross-Attention回答的问题是：“在序列A的每个位置，我应该关注序列B中的哪些部分？
论文阅读：Cross Attention Network for Few-shot Classification
Dream_xd的博客
04-21 7742
论文：Cross Attention Network for Few-shot Classification 地址：https://arxiv.org/abs/1910.07677v1 code：https://github.com/blue-blue272/fewshot-CAN 来源：NeurIPS 2019 Abstract 小样本分类的目标是根据少数标注的样本去识别该类别，其中未知类别...
Criss-Cross Attention for Semantic Segmentation论文及代码分析
Strange_Gu的博客
04-26 4051
先附上论文及代码。 1. Introduction 由于固定的几何结构，传统的FCN受限于局部的感受野，只能提供短程的上下文信息。这对于提升分割任务的精度起到相反的影响。 为了弥补FCN的缺陷，ASPP和PPM模块被提出来，在网络的底层中加入有效的上下文特征。但是膨胀卷积并不能够产生密集的上下文信息。同时，基于池化的方法以非自适应的方式聚合上下文信息，并且认为所有图像像素具有相同的重要性，这不能满足不同像素需要不同的上下文依赖关系的要求。 为了包含密集的且逐像素的上下文信息，一些全连接的GNN方法被提出来
交叉注意力机制
qq_34425255的博客
03-21 1668
饶天荣, 潘涛, 徐会军. 基于交叉注意力机制的煤矿井下不安全行为识别[J]. 工矿自动化, 2022, 48(10): 48-54. RAO T Y, PAN T, XU H J. Unsafe action recognition in underground coal mine based on cross- attention mechanism[J]. Journal of Mine Automation, 2022, 48(10): 48-54.该模型主要包括特征提取模块和交叉注意力模块。
论文阅读-(CCNet)Criss-Cross Attention for Semantic Segmentation
Hi_maxin的博客
04-22 2103
相关论文 non local 操作 要点: criss-cross attention module 获得上下文信息 循环操作, 每一个像素可以获得全图信息 优势: 与non-local 操作相比,少了85%的浮点运算, 与non-local 操作相比,GPU占用率时1/11 state of the art 现存问题 Due to the fixed geometric struct...
把交叉注意力与多模态结合就发了A会！被惊艳到了！
2401_88190197的博客
11-20 660
太牛了！模型DF-TransFusion，，性能完美，分类准确性达100％！实际上，近来该方向已经狂揽了多篇A会，研究热度很高！这是因为，交叉注意力机制能在不同模态之间建立联系，促进信息的交流和整合。而多模态数据，则提供了丰富的信息来源，通过交叉注意力机制可以充分利用这些信息的互补性。从而提高模型的性能、降低计算成本！目标该方法在图像处理、时间序列分析、多模态情感分析等领域都取得了显著效果，且还在上升期，创新空间很大。为让大家能够找到更多灵感启发，早点发出自己的顶会，我给大家准备了。
pytorch 十字交叉注意力机制代码
05-19
十字交叉注意力机制（Cross-Cross Attention Mechanism）是一种用于自然语言处理中的注意力机制。它可以将两个不同位置的序列进行交叉关注，从而实现更好的信息交流和融合。下面是一个基于PyTorch实现的十字交叉注意力机制的代码示例： ```python import torch import torch.nn as nn class CrossAttention(nn.Module): def __init__(self, hidden_size): super(CrossAttention, self).__init__() self.hidden_size = hidden_size self.attention = nn.Linear(hidden_size * 2, 1) def forward(self, source, target): # source: batch_size x source_len x hidden_size # target: batch_size x target_len x hidden_size batch_size, source_len, _ = source.size() _, target_len, _ = target.size() # compute attention scores source = source.unsqueeze(2).repeat(1, 1, target_len, 1) # batch_size x source_len x target_len x hidden_size target = target.unsqueeze(1).repeat(1, source_len, 1, 1) # batch_size x source_len x target_len x hidden_size combined = torch.cat([source, target], dim=-1) # batch_size x source_len x target_len x hidden_size*2 scores = self.attention(combined).squeeze(-1) # batch_size x source_len x target_len # compute context vectors attn = nn.functional.softmax(scores, dim=-1) # batch_size x source_len x target_len target = torch.bmm(attn.transpose(1, 2), source) # batch_size x target_len x hidden_size source = torch.bmm(attn, target) # batch_size x source_len x hidden_size return source, target ``` 在这个代码中，我们定义了一个名为`CrossAttention`的`nn.Module`，它接受两个输入源`source`和`target`。这两个源都是三维张量，分别表示形状为`(batch_size, seq_len, hidden_size)`的输入序列。在前向传递过程中，我们首先计算`source`和`target`之间的注意力得分（`scores`），并使用softmax函数将其转换为权重。然后，我们计算`source`和`target`的上下文向量（`source`和`target`），并将它们返回。 值得注意的是，这里的`attention`线性层将输入的`hidden_size*2`维度压缩到了1维，以计算注意力得分。此外，在计算上下文向量时，我们使用了PyTorch中的`bmm`函数来进行批矩阵乘法。 希望这个代码示例能够帮助你更好地理解十字交叉注意力机制的实现方法。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

博士僧小星

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值