图像融合
文章平均质量分 84
yeager415
这个作者很懒,什么都没留下…
展开
-
【IVIF】CS2Fusion: Contrastive learning for Self-Supervised infrared and visible image fusion by estim
在红外与可见光图像融合(IVIF)中,利用图像级信息建立的先验知识约束往往会忽略源图像特征之间的同一性和差异性,无法充分利用红外图像对可见光图像的信息互补作用。为此,本研究开发了基于对比学习的自监督融合模型将红外图像视为可见光图像的补充,并开发了补偿感知网络(CPN),通过估计红外图像的特征补偿图来引导骨干网络生成融合图像。由于没有GT,有些方法会根据 IVIF 的经典定义(即融合图像需要保留红外图像的高对比度区域和可见光图像的背景纹理)[4-6],对训练数据集进行人工标注。然而,根据这一定义。原创 2024-06-25 22:13:30 · 1079 阅读 · 0 评论 -
【IVIF】Equivariant Multi-Modality Image Fusion
2024CVPR Zixiang Zhao团队分析透彻,方法耳目一新统一融合架构。原创 2024-06-23 21:42:05 · 976 阅读 · 0 评论 -
【IVIF】Frequency Integration and Spatial Compensation Network for infrared and visible image fusion
在本文中,我们通过探索离散傅立叶变换的相位和幅度分量的属性,对红外和可见光图像进行了全面的频率分析,并深入研究了它们的相位分量的整合。为了突出源图像中的显着对象,同时保留来自可见光图像的详细纹理和视觉质量,我们精心设计了两个核心设计:频率集成(FI)模块和空间补偿(SC)模块。具体而言,FI模块通过整合源图像的相位分量将红外图像中的显着对象合并到融合图像中。前者在频率域中整合了源图像的显着对象,同时保持了可见图像的视觉感知,后者通过空间域中细致的补偿机制改善了详细纹理,并突出了显著对象。原创 2024-05-16 20:53:10 · 436 阅读 · 0 评论 -
【IVIF】LRRNet: A Novel Representation Learning Guided Fusion Network for Infrared and Visible Images
我们将融合任务数学化,并建立起其最优解与能够实现它的网络架构之间的联系。这种方法导致了一种新颖的方法,即构建一个轻量级融合网络。它**避免了通过试错策略进行耗时的经验性网络设计。**具体来说,我们采用了一种可学习的表示方法来处理融合任务,其中融合网络架构的构建由优化算法产生的可学习模型来引导。低秩表示(LRR)目标是我们可学习模型的基础。解决方案的**核心矩阵乘法被转化为卷积操作,并且优化的迭代过程被一个特殊的前向网络所替代。原创 2024-04-27 21:02:42 · 795 阅读 · 0 评论 -
【IVIF】Two-Level Consistency Metric for Infrared and Visible Image Fusion
本文的特征提取和图像重建部分的网络很简单,就使用了一个U-Net+,作者分析说IVIF任务没有GT,都是通过设计损失函数来约束融合图像和源图像之间的距离,这是一种**单层一致性度量**,即最终的融合结果接近于源图像之间的折中。作者认为源图像的高频信息没有很好保留(作者在行文里先举了几个例子来说明这一点)因此作者设计了一个分支,使用傅里叶变换,即高频注意力模块获取增强的源图像。原创 2024-04-24 15:30:30 · 848 阅读 · 0 评论 -
【IVIF】MAFusion: Multiscale Attention Network for Infrared and Visible Image Fusion
本篇的Baseline应该是DeepFuse,两阶段训练,固定AE后,再加入中间的融合层训练。融合策略的方式可以留意一下,把源图像的特征作差得到差异特征,然后求取加权值。编码器提取了4级多尺度特征,解码器中作者也是想使用多尺度的跳跃连接(有很多实现方式,作者试了一种)损失函数就一个平均梯度算子提取的梯度损失和一个像素强度损失。发表自TIM 2022代码公开。原创 2024-04-22 22:17:05 · 532 阅读 · 0 评论