【红外与可见光图像融合】DATFusion：DATFuse: Infrared and Visible Image Fusion via Dual Attention Transformer

最新推荐文章于 2025-04-29 14:27:22 发布
最新推荐文章于 2025-04-29 14:27:22 发布
阅读量3.2k 收藏 25
点赞数 8
文章标签： transformer 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/learnererer/article/details/136452199
版权
本文探讨了基于CNN和Transformer的融合模型，如SwinFusion和PPTFusion，通过对比分析，提出了一种结合空间和通道注意力的DARM块。实验结果显示，该方法在保持热辐射信息和细节处理上优于竞品。文章还讨论了动态场景下图像融合的挑战和未来研究方向。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

基于CNN和transformer，空间和通道注意力。

对比了两个基于transformer的方法，SwinFusion(通用融合框架)和一个2022年还没中稿的arxiv的一片PPTFusion。

代码公开，实验丰富。

根据主观图结合作者的分析，尝试思考其他方法的缺陷是什么原因？

1、Motivation

现有深度融合模型的关键部分是卷积运算，卷积运算擅长捕捉局部特征，但不能表示源图像的长期依赖关系，导致一些重要的全局上下文信息提取不足。

互补信息利用是影响融合性能的关键因素，信息丢失是灾难性的

设计一个end-to-end，想利用transformer的长距离建模优势。

2、网络结构

设计了一个DARM块和TRM块

DARM就是综合使用了空间注意力和通道注意力提取特征，TRM就是使用的SwinTransformer的思想。然后对排列顺序做了消融实验，结果显示当前的D-T-T-D是效果最好的。

作者的解释是说，第一个DARM，关注重要的特征，第二个最后用来获取高级语义特征。

3、损失

最低0.47元/天 解锁文章
yeager415
关注
【红外与可见光图像融合】Rethinking Cross-Attention for Infrared and Visible Image Fusion
learnererer的博客
03-06 4932
本文的角度也很新奇，之前的transformer倾向于提取两种图像的共同信息，忽视了差异信息。我们提出的DIIM通过修改了Cross-attention，提取了差异信息。之前的Pixel损失要么使用了最大值抑制，要么是平均值抑制，我们提出了一个新的Pixel损失，可以很好的保持互补信息。代码未公开来自arXiv预印本。
GAN-FM: Infrared and Visible Image Fusion Using GAN With Full-Scale Skip Connection and Dual Markovi
m0_47005029的博客
06-03 1502
本文提出了一种新颖的全尺度跳跃连接和双马尔科夫辨别器（GAN-FM）来实现图像融合。首先，我们设计了一个全尺度跳跃连接的生成器来提取和融合不同尺度的深度特征，这可以促进浅层高对比度特征的直接传输到深层。其次，我们在模型中引入了两个马尔科夫辨别器，这限制了网络对局部区域的注意力，使融合结果不失合理性。此外，我们提出了一种有效的联合梯度损失，以确保对比度和纹理的和谐共存。因此，结果可以防止高对比度目标区域的边缘扩散引起的背景纹理污染。
红外与可见光图像融合技术解析及应用
最新发布
weixin_42509888的博客
04-29 800
图像融合是现代图像处理和分析的重要分支，它涉及结合来自同一场景的多个图像或传感器数据，以增强对场景的理解或提取更多信息。图像融合技术能够利用不同图像的互补特性，生成一个质量更高、信息更丰富的单一图像，为分析和决策过程提供支持。融合过程涉及的技术包括但不限于：像素级融合：直接操作像素值，生成含有两个源图像数据的单一图像。特征级融合：结合了图像中提取的特征，如边缘、角点等。决策级融合：在更高层次上，对各个图像的分类或识别结果进行综合决策。
红外与可见光图像融合入门教学
就很有趣的博客
08-27 1万+
更适合中国宝宝的红外与可见光图像融合入门教程。
红外图像与可见光图像(图像融合)
11-30
已经配准的红外图像与可见光图像数据集，做图像融合用
红外和可见光图像融合算法研究
m0_55395440的博客
01-12 4300
摘 要红外技术作为人类认识自然、探索自然的一种新的现代工具，已经被各国普遍的应用于生物、医学、地学等科学领域以及军事侦察方面。红外图像直接反映了物体表面温度分布情况，但由于目标的红外辐射十分复杂，而且影响目标红外辐射的因素很多，红外热图像的清晰度远不如可视图像。可见光图像能够很好的描绘场景中各个物体的外形结构，具有较好的轮廓表现力，所以将红外和可见光图像融为一体有非常好的效果。
一篇关于红外图像和可见光图像融合的摘要
热门推荐
weixin_42180950的博客
07-15 2万+
题目：Infrared and visible image fusion methods and applications: A survey 摘要：红外图像可以根据辐射差异将目标与背景区分开来，这在全天候和全天/整夜的情况下效果很好。相反，可见图像与人类视觉系统一致的方式可以提供具有高空间分辨率和清晰度的纹理细节。因此，期望融合这两种类型的图像，这可以结合红外图像中的热辐射信息和可见图像中的详细纹理信息的优点。在这项工作中，我们全面研究了红外和可见光图像融合的现有方法和应用。首先，详细回顾了红外和可见图
机载图像智能检测/识别算法调研
zunzunle的博客
10-17 740
对SAR图像进行智能目标检测的算法主要是在YOLO等目标检测算法上进行修改，包括提出轻量级检测模型、进行多特征融合、多尺度特征提取、自监督学习和半监督学习等，以更好地将通用目标检测算法应用于SAR遥感图像。下面简单列举一些相关算法。轻量级目标检测模型Xu等提出了一种轻型SAR舰船探测器Lite-YOLOv5实现了不牺牲精度的船载检测。[1]YOLO-Lite模型。[2]多特征融合、缓解特征干扰等模型问题：传统的SAR舰船检测方法只提取了简单的底层特征，需要大量的人力。
（八：2020.08.27）CVPR 2020 追踪之论文纲要（译）
Jojo论文基地
08-27 1万+
CVPR 2019 追踪之论文纲要（修正于2020.08.27）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这1400篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 Respect！ 论文目录 论文 概要 12-in-1 - Multi-Task Vision and Language Repre
红外图像与可见光图像融合笔记
06-22
讲述了红外图像与可见光图像的成像方式的不同，以及用各种不同的变换来融合红外图像和可见光图像。
红外与可见光融合
04-19
基于主成分分析的红外与可见光特征及融合!
红外图像与可见光图像融合的研究
05-04
图像融合是指将 2 个或 2 个以上的传感器在同一时间 或不同时间获取的关于某个具体场景的图像或图像序列信 息加以综合， 以生成新的有关此场景解释的信息处理过 程 ［1 ］ 。红外与可见光图像融合则是在军事领域和安全监控 领域具有广泛应用的一种图像融合方式。红外图像一般较 暗、 信噪比低、 无彩色信息、 缺少层次感， 但却常有比较明显 的目标信息;可见光图像光谱信息丰富， 动态范围大， 对比度 相对较高， 包含丰富的细节信息， 但在黑暗背景下不易观 察 ［2 ］ 。通过对红外与可见光图像的融合， 提高红外目标的可 识别度和图像的清晰度， 获得更加详细准确的信息， 可以使 我们能在恶劣的环境下也能准确判断热源的位置， 在军事作 战、 电子产品检测、 资源探测等众多领域中都有广泛的实用 价值。
红外与可见光图像融合实验素材
02-21
[17] G. Piella. A general framework of multiresolution image fusion: From pixel to regions[J]. Information fusion, 2003(4)：259-280. 英国OCTEC公司提供两组配准了的红外和彩色图像进行融合实验。 可以用于可见光与红外的融合实验
【图像融合】Dif-Fusion:基于扩散模型的红外/可见图像融合方法
qq_45752541的博客
05-11 1万+
颜色在人类的视觉感知中起着重要的作用，反映了物体的光谱。然而，现有的红外和可见光图像融合方法很少探索如何直接处理多光谱/通道数据，并实现较高的彩色保真度。本文提出了一种利用扩散模型diffusion来生成多通道输入数据的分布，提高了多源信息聚合的能力和颜色的保真度。具体来说，我们没有将现有的融合方法中的多通道图像转换为单通道数据，而是在潜在空间中创建了具有正向和反向扩散过程的去噪网络的多通道数据分布。然后，我们利用去噪网络提取具有可见光和红外信息的多通道扩散特征。最后，我们。
红外与可见光图像融合技术综述
Songxianshengbei的博客
04-13 2866
红外与可见光图像融合技术的意义在于，它能够结合两者的优点，生成一幅既包含红外图像的目标检测能力，又包含可见光图像的色彩和纹理信息的新图像。为了使融合结果能够保持更多可见光图像中的背景信息，可以将融合图像和可见光图像作为鉴别器的输入，由此来使融合图像不断地拟合可见光图像数据分布。红外与可见光图像融合技术是一种将红外图像和可见光图像的信息进行结合，以产生一幅包含两者优点的新图像的技术。通过融合红外图像的热源检测能力和可见光图像的环境信息，可以实现对隐蔽目标的探测和导航，提高飞行器的安全性和作战能力。
【红外与可见光图像融合】A Multi-scale Information Integration Framework for Infrared and Visible Image Fusion
learnererer的博客
03-16 2692
本文改进了损失函数，使得损失项的权重系数可以自适应调整(可学习的)。网络部分就是提取了多尺度信息，不同尺度之间在特征融合阶段有交互，融合阶段使用了空间和通道dual attention，基于IR和VIS提取的特征不同，将（L+1）层的 IR 图像上采样到 L 层，与L层的VIS图像相加，做一个信息补充，然后使用注意力机制进行加权。
像素级红外与可见光图像融合方法研究
weixin_66468800的博客
07-12 4086
看《像素级红外与可见光图像融合方法研究》概述
【图像】红外与可见光融合图像识别经典算法
沐风—云端行者
07-15 2968
在图像识别领域，红外图像与可见光图像的融合技术开辟了一条新的路径，不仅增强了图像的细节和对比度，还提高了在各种环境条件下的目标检测和识别能力。红外与可见光图像的融合技术，通过综合两种图像的优势，为图像识别带来了新的视角和可能性。无论是传统的基于变换的方法还是新兴的深度学习方案，都在不断地推动这一领域的发展。该方法先构建源图像的拉普拉斯金字塔，然后在每一层上进行融合，最后重构出融合后的图像。图像融合的基本目的是将多个源图像的信息合并到一个输出图像中，以提高图像质量或提供更多的视觉信息。
红外与可见光图像融合：FCM与ADSCM算法
"本文提出了一种基于模糊C-均值(FCM)聚类和自适应双通道脉冲发放皮层模型(ADSCM)的红外与可见光图像融合算法，利用非下采样剪切波变换(NSST)对源图像进行分解，然后通过结合FCM和ADSCM对子带图像进行融合处理，最后...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值