Two-Level Consistency Metric for Infrared and Visible Image Fusion（红外与可见光图像融合的两级的一致性度量）

最新推荐文章于 2024-04-18 20:22:52 发布
最新推荐文章于 2024-04-18 20:22:52 发布
阅读量259 收藏 1
点赞数
分类专栏： 论文阅读 文章标签： 计算机视觉 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wsgaolitou/article/details/131008736
版权

Two-Level Consistency Metric for Infrared and Visible Image Fusion（红外与可见光图像融合的两级的一致性度量）

研究背景

现有的红外与可见光图像融合大都采用单阶段的损失函数来约束融合图像，例如强度、梯度、结构相似性，但是单阶段的一致性度量会导致融合图像倾向于两个源图像折衷。两个源图像的特征在融合图像中相互影响，通俗点就是融合图像中的显著性目标没有红外那么强（受可见光图像影响），纹理细节信息没有可见光那么详细（受红外图像影响）。

思想：找到红外与可见光图像的重要部分，然后想办法约束融合图像包含源图像的重要部分。

作者提出：红外图像的显著性目标和可见光图像的纹理细节信息在频域中都体现在高频部分。在频域中可以使用高频滤波器来提取高频区域，进而提出源图像的重要部分。

作者又提出：将融合图像分解为两个图像（两个源图像），一个包含红外重要部分，一个包含可见光重要信息。然后使用分解出来的源图像和真正的源图像去做损失约束。

整体框架

框架分为：基于U-Net的融合网络模块、融合测量模块和FA模块

在这里插入图片描述

基于U-Net的融合网络模块：负责特征提取和图像重建。

在这里插入图片描述

融合测量模块：首先使用双卷积块（就是两层卷积）提取融合图像的特征，得到32维度的特征（我们假设这就是分解出来的红外图像，也可以是可见光），然后使用一个1x1卷积层再次提取融合图像的32维度的融合特征，使用32维度的融合特征减去32维度的红外特征，得到的就是32维度的可见光特征。将分解得到的两个图像特征通过OutConv（1x1卷积层）降维得到融合图像分解出来的源图像。
在这里插入图片描述

FA模块：提取源图像的重要部分特征，并且增强这些特征。首先通过快速傅里叶将源图像变换到频域空间，然后使用高通滤波器过滤提取源图像中的高频信息。然后将高频信息与没经过高通滤波器的变换部分相加得到增强后的变换。然后快速傅里叶逆变换回到图像域得到增强后的图像。然后对增强后的源图像使用softmax操作得到权重图。
在这里插入图片描述

损失函数

损失函数分为：融合损失和分解损失

在这里插入图片描述

融合损失和分解损失都由SSIM损失和FA损失组成

SSIM损失：在亮度、结构、对比度方面进行测量。

在这里插入图片描述

FA损失：由L2损失和权重图组成

在这里插入图片描述

融合损失：使用融合图像去和增强后的源图像去做损失计算，约束融合图像包含源图像的信息

在这里插入图片描述

分解损失：分解损失就是用融合图像分解出来的两个源图像和真正的两个源图像进行损失计算。约束融合图像更好的保留源图像的重要部分。

在这里插入图片描述

结论

贡献

  • 提出了一种基于融合分解和高频关注度的图像融合增强损失函数。

  • 提出了一种新的自监督网络，通过缩小分解分量和增强的源图像之间的距离来保留源图像的重要特征。

自我认为：本篇论文设计了两个阶段的损失约束（亮点）。

  • 第一阶段在融合图像与增强后的源图像之间进行约束；
  • 第二阶段，将融合图像分解为两个源图像，使用分解的源图像与增强后的源图像进行约束。

论文来源

其他论文

基于熵的自适应融合模块和掩模引导卷积神经网络的红外与可见光图像融合

MAFusion:Multiscale Attention Network for Infrared and Visible Image Fusion

TCCFusion: An infrared and visible image fusion method based on transformer and cross correlation

THFuse: An infrared and visible image fusion network using transformer and hybrid feature extractor

近视的眼
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Co-saliency detection based on region-level fusion and pixel-level refinement
02-09
Co-saliency detection based on region-level fusion and pixel-level refinement
【红外与可见光图像融合】Rethinking Cross-Attention for Infrared and Visible Image Fusion
learnererer的博客
03-06 1344
本文的角度也很新奇，之前的transformer倾向于提取两种图像的共同信息，忽视了差异信息。我们提出的DIIM通过修改了Cross-attention，提取了差异信息。之前的Pixel损失要么使用了最大值抑制，要么是平均值抑制，我们提出了一个新的Pixel损失，可以很好的保持互补信息。代码未公开来自arXiv预印本。
【图像融合】Dif-Fusion:基于扩散模型的红外/可见图像融合方法
热门推荐
qq_45752541的博客
05-11 1万+
颜色在人类的视觉感知中起着重要的作用，反映了物体的光谱。然而，现有的红外和可见光图像融合方法很少探索如何直接处理多光谱/通道数据，并实现较高的彩色保真度。本文提出了一种利用扩散模型diffusion来生成多通道输入数据的分布，提高了多源信息聚合的能力和颜色的保真度。具体来说，我们没有将现有的融合方法中的多通道图像转换为单通道数据，而是在潜在空间中创建了具有正向和反向扩散过程的去噪网络的多通道数据分布。然后，我们利用去噪网络提取具有可见光和红外信息的多通道扩散特征。最后，我们。
【红外与可见光图像融合】Infrared and visible image fusion based on a two-stage class conditioned auto-encoder ne
最新发布
learnererer的博客
04-18 434
本文提到一些方法使用共享编码器从源图像中提取特征，并且采取手工制作的融合策略。我们的目的是让编码器从，因此我们在编码器中引入了类嵌入分支，对不同模态的特征进行建模，并根据输入模态自适应缩放中间特征。融合策略方面，使用了通道和空间注意力机制对不同模态的特征图进行加权。训练思路与RFN-NEST相同，两阶段训练，损失不同。代码不公开发表自Neurocomputing 2023。
【红外可见光融合】CrossFuse: A novel cross attention mechanism based infrared andvisibleimage fusion approach
learnererer的博客
03-09 1306
可能的研究方向是将额外的机器学习方法，如稀疏表示和度量学习，整合到交叉注意力机制中，以增强其效果。
THFuse: An infrared and visible image fusion network using transformer and hybrid feature extractor
2201_75761617的博客
07-18 107
感知损失：使用预训练的VGG19网络去提取（融合图像，源图像）多尺度的特征。主要是想用两个特征的语义信息来确定两个特征的感知信息，进而确定两个图像的感知信息。融合图像和可见光图像的感知损失: 使用提取的相对浅层特征(第一层)进行计算，由于浅层特征包含较多的结构信息和细节信息。计算融合图像与红外图像的感知损失: 使用深层次的特征(第四层)来计算。因为红外图像中由更多的显著特征，语义信息。
THFusion论文解读
wsgaolitou的博客
03-28 357
感知损失：使用预训练的VGG19网络去提取（融合图像，源图像）多尺度的特征。主要是想用两个特征的语义信息来确定两个特征的感知信息，进而确定两个图像的感知信息。融合图像和可见光图像的感知损失: 使用提取的相对浅层特征(第一层)进行计算，由于浅层特征包含较多的结构信息和细节信息。计算融合图像与红外图像的感知损失: 使用深层次的特征(第四层)来计算。因为红外图像中由更多的显著特征，语义信息。
Workload-Efficient Deadline and Period Assignment for Maintaining Temporal Consistency under EDF
02-09
Deriving deadlines and periods for update transactions so as to maintain timeliness and data freshness while minimizing imposed workload has long been recognized an important problem in real-time ...
consistency-adversarial:对抗性鲁棒性的一致性正则化
03-09
对抗性鲁棒性的一致性正则化 ， ， ， ， 和进行的对抗性鲁棒一致性正则化的正式PyTorch实施。 1.依存关系 conda create -n con-adv python=3 conda activate con-adv conda install pytorch torchvision cuda...
cqrs-clean-eventual-consistency：使用清洁架构，多个数据库和最终一致性的CQRS
02-04
CQRS，使用Clean Architecture，多个数据库和最终一致性 :bookmark_tabs: 详细资料 我还在博客中保留了更详细的信息，并且我将每周发布一次以阐明我的想法： CQRS深入了解命令 CQRS查询和实现 CQRS共识和一致性...
图像融合质量评价.rar
06-27
matlab、图像融合、评价指标 avg=num2str(avg_gradient(data.F));%平均梯度 ein=num2str(edge_intensity(data.F));%边缘强度 sha=num2str(shannon(data.F));%信息熵 [img_mean,img_var]=variance(data.F);%灰度均值，标准差(均方差MSE) gray_mean=num2str(img_mean); vari=num2str(img_var); rms=num2str(rmse(data.F,data.M1));%均方根误差 psnrvalue=num2str(psnr(data.M1,data.F));%峰值信噪比 sf=num2str(space_frequency(data.F));%空间频率 fd=num2str(figure_definition(data.F));%图像清晰度 mi1=mutinf(data.M1,data.F);%互信息 mi2=mutinf(data.M2,data.F); mi=num2str(mi1+mi2); [mssim, ssim_map] = ssim(data.M1,data.F);%结构相似性 ssi=num2str(mssim); cross_entro=num2str(cross_entropy(data.M1,data.M2));%交叉熵，应该使用标准图像&融合后图像 rw=num2str(relatively_warp(data.M1,data.F));%相对标准差，应该使用标准图像&融合后图像
Image Fusion with Local Spectral Consistency and Dynamic Gradient Sparsity
03-22
Image Fusion with Local Spectral Consistency and Dynamic Gradient Sparsity
像素级图像融合综述
SSyangguang的博客
07-21 5832
最近看了一篇17年像素级的图像融合方法综述Pixel-level image fusion: A survey of the state of the art，主要讲了基于多尺度分解和稀疏表示的融合方法，此外还包括评价指标讨论和在遥感、医学、红外可见光、摄影等领域的融合应用总结。文章很长全是字，好不容易才看完，在这里分享一下。 Abstract 像素级图像融合用于多种输入图像的融合，融合得到的图像对于人眼观察或者算法分析来说都提升了信息量，因此在遥感图像、医学影像和暗光数据中应用广泛。本文对像素级图
【读论文】THFuse
就很有趣的博客
03-01 787
一篇基于CNN和VIT的关于红外可视图像融合的论文，论文中提出了两分支的CNN提取模块的方法以及常规VIT和跨通道的VIT相结合的方法来提取特征，一起来看看吧。
An Infrared and Visible Image Fusion Architecture based on Nest Connection and Spatial/Channel Atten
u012183541的博客
02-08 331
在本文中，提出了一种用于红外和可见光图像融合的新方法，其中开发了基于嵌套连接的网络和空间/通道注意模型。基于嵌套连接的网络可以从多尺度的角度保存来自输入数据的大量信息。该方法包括三个关键要素：编码器、融合策略和解码器。提出的融合策略中，开发了空间注意模型和通道注意模型，描述了每个空间位置和每个具有深层特征的通道的重要性。首先，将源图像馈送到编码器中以提取多尺度深度特征。然后开发新颖的融合策略，以融合每个规模的这些特征。最后，融合图像由基于嵌套连接的解码器重建。结果表明，提出的方法比其他最先进的方法具有更好的
TCCFusion/ An infrared and visible image fusion method based on transformer and cross correlation
m0_47005029的博客
05-27 380
这篇文章介绍了一种基于Transformer和交叉相关的红外和可见光图像融合方法，名为TCCFusion。传统的基于卷积操作的深度学习方法虽然具有良好的局部特征提取能力，但受限于有限的感受野，其建模长距离依赖性的能力受到限制。为了解决这个问题，作者设计了一个来保留局部互补信息，其中引入了一个密集形状网络来重复使用在卷积操作中可能丢失的信息。为了避免感受野的限制并充分提取全局重要信息，作者设计了一个由三个Transformer块组成的来构建长距离关系。此外，，以更有效地保留局部和全局有用信息。
An infrared and visible image fusion method based on multi-scale transformation and norm optimizatio
u012183541的博客
02-08 526
本文提出了一种基于多尺度变换和范数优化的红外可见光图像融合新方法。该方法设计了具有对比度保真度（L2范数）和稀疏约束（L1范数）的新型损失函数，并利用拆分Bregman方法优化损失函数，得到预融合图像。通过使用多级分解潜在低秩表示（MDLatLRR）方法对预融合图像进行分解，得到最终的融合基础层。然后，以预融合图像为参考，引入图像结构相似度（SSIM）来评估可见光图像中细节信息的有效性，然后将结构相似度转换为权重图，应用基于L2范数的优化方法，生成最终的细节融合层。本文对所提出的方法进行了评估，并与18种最
TCCFusion: An infrared and visible image fusion method based on transformer and cross correlation 论文
wsgaolitou的博客
03-29 521
基于Transformer的图像融合论文
循环一致性Cyclic Consistency是什么意思
07-20
循环一致性（Cyclic Consistency）是指在多视图重建或视图合成的任务中，通过建立视图之间的循环关系来提高结果的一致性和准确性。 在多视图重建中，循环一致性是指通过从不同视图之间进行前向和反向投影来验证重建结果的一致性。例如，如果从视图A到视图B再回到视图A的重建结果与原始视图A保持一致，那么就可以认为重建结果是准确的。这种循环一致性的验证可以帮助纠正重建中的误差和不一致性。 在视图合成中，循环一致性是指通过从合成的结果反向投影回原始视图，并与原始视图进行比较来验证合成结果的准确性。如果合成结果与原始视图之间存在循环一致性，即合成结果能够恢复到原始视图，那么可以认为合成结果是准确的。 通过引入循环一致性约束，可以提高多视图重建和视图合成任务中的结果质量和一致性，从而得到更准确和真实的重建或合成结果。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值