全篇创新点！图像融合15大魔改创新方案，暴力涨点！

马拉AI

于 2024-08-21 10:08:39 发布

阅读量947

点赞数 25

文章标签：人工智能图像融合计算机视觉

本文链接：https://blog.csdn.net/Mikasa33/article/details/141385898

版权

【图像融合】是将多个传感器捕获的图像数据整合成单一图像的技术，目的是增强图像的视觉效果和信息内容。这个领域通常涉及处理不同模态的图像，如红外与可见光图像，以提取并结合各自的优势特征，如红外图像的热辐射信息和可见光图像的纹理细节。图像融合技术对于多种应用至关重要，包括但不限于军事侦察、医学成像、卫星遥感和自动驾驶。通过融合技术，可以提高图像的诊断价值、增强视觉信息的丰富性，以及改善在复杂光照或天气条件下的视觉感知。随着深度学习的发展，图像融合方法已经从传统的基于手工特征的方法转变为基于数据驱动的模型，这些模型能够学习更复杂的图像表示，并生成更高质量的融合结果。

为了帮助大家全面掌握【图像融合】的方法并寻找创新点，本文总结了最近两年【图像融合】相关的15篇顶会顶刊论文研究成果，这些论文、来源、论文的代码都整理好了，希望能给各位的学术研究提供新的思路。

三篇论文解析

1、DDFM: Denoising Diffusion Model for Multi-Modality Image Fusion

方法

本文提出了一种基于去噪扩散概率模型（Denoising Diffusion Probabilistic Model, DDPM）的新颖图像融合算法，称为DDFM（Denoising Diffusion image Fusion Model）。
该算法将图像融合任务构建为DDPM采样框架下的条件生成问题，并进一步分解为无条件生成子问题和最大似然子问题。
无条件生成子问题利用预训练的DDPM模型来满足自然图像先验，而最大似然子问题则通过似然校正来限制与源图像的相似性。
利用期望最大化（Expectation-Maximization, EM）算法对最大似然问题进行建模和求解，并将解决方案集成到扩散采样迭代中。
DDFM算法包括两个主要模块：无条件扩散采样（Unconditional Diffusion Sampling, UDS）模块和似然校正模块（EM模块）。
在UDS模块中，使用预训练的DDPM模型来生成图像，而EM模块则负责使用源图像信息对UDS模块的输出进行校正。

创新点

DDPM的应用：首次将DDPM应用于多模态图像融合任务，利用其生成高质量图像的能力，同时避免了GAN模型中常见的不稳定训练和模式崩溃问题。
条件生成问题的分解：将条件生成问题分解为两个子问题，分别处理自然图像先验和源图像信息的相似性，提高了算法的灵活性和可控性。
层次贝叶斯模型：在似然校正中采用层次贝叶斯方法，通过引入潜在变量来建模优化损失函数与概率模型的似然之间的关系。
EM算法的集成：将EM算法集成到DDPM循环中，仅需要一步EM迭代即可完成条件图像生成，简化了传统EM算法需要多次迭代的过程。
无需微调：与需要针对特定任务进行微调的模型不同，DDFM使用预训练的DDPM模型，无需针对特定任务进行微调，提高了模型的通用性和应用效率。
广泛的实验验证：在红外-可见光图像融合和医学图像融合等多个数据集上进行了广泛的实验验证，证明了DDFM在保留源图像结构和细节信息方面的优势。

IMG_256

2、DIVFusion: Darkness-free infrared and visible image fusion

方法

提出了一种名为DIVFusion的夜间红外与可见光图像融合算法，旨在生成在极端低光照环境下具有显著目标和丰富细节的高质量融合图像。
设计了一个场景照明解耦网络（Scene-Illumination Disentangled Network, SIDNet），用于剥离夜间可见光图像中的照明退化，同时保留源图像中的信息特征。
开发了一个纹理对比度增强融合网络（Texture-Contrast Enhancement Fusion Network, TCEFNet），用于整合互补信息并增强融合特征的对比度和纹理细节。
引入了色彩一致性损失（Color Consistency Loss），以减轻由于增强和融合过程引起的色彩失真。
考虑了低光照图像增强与图像融合之间的内在关系，实现了两者的有效耦合与互惠。

创新点

场景照明解耦：SIDNet利用通道注意力机制和Retinex理论，在特征层面上剥离夜间可见光图像中的照明退化，同时增强可见光图像和红外图像的特征。
纹理对比度增强：TCEFNet包含梯度保留模块（Gradient Retention Module, GRM）和对比度增强模块（Contrast Enhancement Module, CEM），用于在特征层面上实现纹理增强和对比度提升。
色彩一致性损失：提出了一种基于RGB颜色空间的角度损失函数，有效减少了夜间弱光条件下引起的色彩信息损坏，同时在融合图像中注入更多来自可见光域的信息。
端到端的融合框架：DIVFusion能够在端到端的方式下生成具有真实色彩和显著对比度的融合图像，特别是在极低光照条件下。
提高高级视觉任务的性能：通过实验表明，DIVFusion在提高诸如行人检测等高级视觉任务的性能方面具有潜力。

IMG_257

3、MetaFusion: Infrared and Visible Image Fusion via Meta-Feature Embedding from Object Detection

方法

提出了一种名为MetaFusion的红外和可见光图像融合方法，该方法通过从目标检测中嵌入元特征（Meta-Feature Embedding）来实现。
MetaFusion框架包括三个子网络：图像融合网络(IVIF)、目标检测网络(OD)和元特征嵌入网络(MFE)。
IVIF网络负责生成融合结果，OD网络提供语义特征，MFE网络使用OD特征来指导IVIF融合更多的对象语义信息。
元特征嵌入学习分为两个阶段：内部更新阶段和外部更新阶段。内部更新阶段优化MFE以生成与IVIF网络兼容的元特征；外部更新阶段使用固定MFE生成的元特征来指导IVIF网络。
通过交替训练IVIF网络和OD网络，实现了两者之间的相互促进学习（Mutual Promotion Learning），以提高它们的表现。