【论文阅读】CrossFuse: A novel cross attention mechanism based infrared and visible image fusion approach

最新推荐文章于 2024-09-12 18:57:53 发布
最新推荐文章于 2024-09-12 18:57:53 发布
阅读量269 收藏 6
点赞数 8
分类专栏： 论文阅读 图像融合 文章标签： 论文阅读 计算机视觉 人工智能 图像处理 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Prettybritany/article/details/139574103
版权

CrossFuse: A novel cross attention mechanism based infrared and visible image fusion approach（2024InfFus）

现有方法存在问题

  1. 红外和可见光图像之间的相似性差异大，使得从这两种模态中提取互补信息变得困难。

  2. 多阶段融合方法在处理图像时可能会导致信息丢失，并且通常计算成本较高。

  3. 设计有效的端到端融合模型面临挑战，需要精心设计的损失函数来优化性能。

  4. 现有基于Transformer的方法过于侧重于自注意力机制而没有充分探索交叉注意力机制，忽视了增强互补信息的重要性。

本文贡献

  1. 提出了一种增强多模态特征的交叉注意力机制。

  2. 展示了一种新颖的混合融合网络，结合了卷积层和注意力机制（包括自注意力和交叉注意力）的优势。

研究方法

网络架构

编码器架构

交叉注意力机制

 

自注意力机制：

交叉注意力机制：

解码器架构

两阶段训练策略

第一阶段：重建（编码器）

第二阶段：融合（CAM和解码器）

损失函数：

像素强度损失关注图像的照明和轮廓

梯度损失关注细节

实验结果

Prettybritany
关注
  • 8
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
RePage: A Novel Over-Air Reprogramming Approach Based on Paging Mechanism Applied in Fog Computing
02-07
### RePage：一种基于分页机制的空中重编程新方法应用于雾计算 #### 研究背景与动机 随着物联网技术的发展，雾计算作为一种新兴的计算范式，旨在通过在网络边缘部署计算资源来减少数据传输延迟并提高响应速度。...
图像融合论文阅读：CrossFuse: 一种基于交叉注意机制的红外与可见光图像融合方法
图像强的博客
01-08 6015
以往的交叉注意力只考虑相关性，而图像融合任务需要关注互补信息。 为了解决这个问题，作者提出了CrossFuse，使用【交叉注意力机制CAM】增强互补信息，使用了两阶段训练策略。 第一阶段为两种模态训练结构相同的自编码器 第二阶段固定编码器参数，训练CAM和解码器
红外与可见图像融合论文心得（四）--CrossFuse（一种新的基于交叉注意机制的红外与可见光图像融合方法）
weixin_69464301的博客
01-06 1479
1. 本文引入了一种交叉注意机制来增强多模态特征。所提出的机制通过有效地增加互补特征来优化融合过程，从而使结果更加准确和全面。2. 本研究提出了一种新的混合融合网络，将卷积层的优势与注意机制(自注意机制和交叉注意机制)相结合，用于多模态图像融合。该方法有利于从源图像中提取深度特征，保持细节信息，增强互补信息。3. 实验结果表明，本文提出的方法是当前融合技术的一种有前途的替代方法。它为多模态图像融合任务提供了一种更加鲁棒和高效的解决方案。
【红外可见光融合】CrossFuse: A novel cross attention mechanism based infrared andvisibleimage fusion approach
learnererer的博客
03-09 1507
可能的研究方向是将额外的机器学习方法，如稀疏表示和度量学习，整合到交叉注意力机制中，以增强其效果。
论文研究-Optimizing the Combined Input and Crosspoint Queued (CICQ) switch: A new flow control mechanism.pdf
08-16
在此基础上，论文提出了新的流量控制机制，改善了内存空间效率，这种机制值得深入研究。这对于交换机的设计者和研究者来说是一个重大突破，因为它能显著提高网络交换机的性能，特别是在处理高速和大规模网络流量时。...
Pay as How Well You Do: A Quality Based Incentive Mechanism for Crowdsensing
02-06
### 质量为基础的激励机制在众包感知中的应用 #### 概述与背景 在众包感知（Crowdsensing）领域，合适的奖励机制一直备受期待，它旨在补偿参与者因提供物理资源和人力投入而产生的消耗。然而，低质量的感知数据...
Multi-population Based Search Strategy Ensemble Artificial Bee Colony Algorithm with a Novel Resource allocation mechanism
02-08
标题中提到的“Multi-population Based Search Strategy Ensemble Artificial Bee Colony Algorithm with a Novel Resource allocation mechanism”(基于多群体搜索策略集成的人工蜂群算法与新颖资源分配机制)，表明...
论文阅读 - Coordinated Activity Modulates the Behavior and Emotions ofOrganic Users
qq_40671063的博客
09-06 1003
社交媒体已成为全球危机期间迅速传播信息的重要渠道。然而，这也为恶意行为者操纵叙事铺平了道路。本研究深入探讨了加沙冲突期间 Twitter 上协调（恶意）实体与有机（普通）用户之间的互动动态。通过分析来自 130 多万用户的约 350 万条推文，我们的研究发现，协同用户对信息格局产生了重大影响，成功地在网络上传播了他们的内容：他们的信息有相当一部分被普通用户采纳和分享。此外，研究还记录了有机用户对协同内容的参与度逐渐增加，与此同时，他们在随后的交流中也明显转向了情感上更加极化的表达方式。
ProbVLM: Probabilistic Adapter for Frozen Vison-Language Models 论文阅读
weixin_44609958的博客
09-09 1254
大规模视觉-语言模型（VLMs）如CLIP能够成功地在图像和文本之间找到对应关系。通过标准的确定性映射过程，图像或文本样本被映射到嵌入空间中的一个单一向量。这存在问题：由于多个样本（图像或文本）可以抽象出物理世界中的相同概念，确定性嵌入并不能反映嵌入空间中固有的模糊性。我们提出了ProbVLM，一种概率适配器，通过跨模态和模态内对齐，以事后方式估计预训练VLM嵌入的概率分布，无需大规模数据集或高昂的计算资源。
【论文阅读】Face2Diffusion for Fast and Editable Face Personalization
weixin_57974242的博客
09-12 234
面部个性化旨在将从图像中获取的特定面部插入到预先训练的文本到图像扩散模型中。然而，由于对训练样本的过度拟合，以前的方法在保持身份相似性和可编辑性方面仍然具有挑战性。在本文中，我们提出了 Face2Diffusion (F2D)，用于高可编辑性面部个性化。F2D 背后的核心思想是从训练管道中删除与身份无关的信息可以防止过度拟合问题并提高编码面部的可编辑性。F2D由以下三个新颖的组件组成：1）多尺度身份编码器提供了良好解开的身份特征，同时保留了多尺度信息的优势，从而提高了相机姿势的多样性。
[论文笔记] LLM大模型剪枝篇——4、Qwen2系列剪枝实现
最新发布
心宝的博客
09-12 99
【代码】[论文笔记]
论文阅读笔记: Segment Anything
c2861024198的博客
09-08 1078
Segment Anything论文阅读笔记
VIT论文阅读
bliblisukabulie的博客
09-09 989
卷积神经网络不是必备的，一个纯transformer表现也是非常好的2500天tpu v3大规模上预训练，小规模任务数据集上微调。扩大模型时候还没观察到瓶颈（还没出现过拟合）？轴注意力机制：把2d的图片注意力分成从H和从W出发两个1d的注意力机制将224x224的图片根据16x16的patch划分成为14x14，使用特征图展开成1d来进行attention操作在不加强约束的情况下，transformer效果是比Resnet差的，因为少了归纳偏置1是本地偏置，相近的特征会相邻；
论文笔记：基于LLM和多轮学习的漫画零样本角色识别与说话人预测
zly_Always_be的博客
09-12 953
论文笔记：基于LLM和多轮学习的漫画零样本角色识别与说话人预测
llama3论文阅读
bliblisukabulie的博客
09-12 382
稠密Transformer（Dense Transformer）是指传统的Transformer模型，其中所有的注意力头和前馈网络层都是稠密的，即每个输入位置都会参与到每个输出位置的计算中。MOE架构的一个著名变体是稀疏门控MOE（Sparse Gated Mixture of Experts），它在Google的Switch Transformer模型中得到了应用，该模型通过使用稀疏门控机制来减少计算资源的消耗，同时保持模型的性能。小小模型的验证误差预测大模型的验证误差，但并不代表大模型的能力。
Moco论文阅读笔记
bliblisukabulie的博客
09-09 949
把对比学习砍成一个字典查询的任务。动态字典两部分组成，一个是队列，一个是移动平均的编码器，让字典里特征尽可能一致。Moco学到的特征能够很好迁移到下游任务。（最大的卖点）
论文阅读翻译之Deep reinforcement learning from human preferences
shizidushu的博客
09-11 1322
对于复杂的强化学习（RL）系统来说，要与现实世界环境有效互动，我们需要向这些系统传达复杂目标。在这项工作中，我们探索了以（非专家）人类对轨迹段对的偏好来定义目标。我们展示了这种方法可以在没有奖励函数的情况下有效解决复杂的RL任务，包括Atari游戏和模拟机器人运动，同时仅需对不到1%的代理与环境交互提供反馈。这大大降低了人类监督的成本，使其能够实际应用于最先进的强化学习系统。为了展示我们方法的灵活性，我们表明可以在大约一小时的人类参与时间内成功训练出复杂的新行为。
[论文笔记] CSFCN
cheng_xuzhu的博客
09-12 430
上下文建模或多级特征融合方法已被证明可以有效提高语义分割性能。然而，它们并不是专门处理像素上下文不匹配和空间特征不对齐的问题，并且高计算复杂度阻碍了它们在实时场景中的广泛应用。在这项工作中，我们提出了一种轻量级的上下文和空间特征校准网络（CSFCN），以通过基于池化和基于采样的注意力机制来解决上述问题。CSFCN包含两个核心模块：上下文特征校准（CFC）模块和空间特征校准（SFC）模块。
交叉注意力机制(Cross-Attention mechanism)python代码
06-02
以下是交叉注意力机制的python代码实现示例： ```python import torch import torch.nn as nn class CrossAttention(nn.Module): def __init__(self, input_dim): super(CrossAttention, self).__init__() self.input_dim = input_dim self.W = nn.Linear(input_dim, input_dim, bias=False) def forward(self, Q, K, V): Q = self.W(Q) # (batch_size, seq_len_q, input_dim) K = self.W(K) # (batch_size, seq_len_k, input_dim) V = self.W(V) # (batch_size, seq_len_v, input_dim) # 计算注意力得分 scores = torch.bmm(Q, K.transpose(1, 2)) # (batch_size, seq_len_q, seq_len_k) attn_weights = torch.softmax(scores, dim=-1) # 加权平均值 attn_output = torch.bmm(attn_weights, V) # (batch_size, seq_len_q, input_dim) return attn_output ``` 以上代码实现了一个cross-attention模块，输入Q、K、V均为三维张量，表示query、key、value，分别表示查询序列、键序列、值序列，这三个序列在attention中扮演不同的角色。在函数内部，首先利用线性变换将输入张量的最后一个维度转换为input_dim，然后计算注意力得分，采用softmax函数将得分归一化得到注意力权重，最后将值序列加权平均得到输出。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值