图像融合论文速读：SDCFusion_A semantic-driven coupled network for infrared and visible image fusion（2024年） SDCFusion，将语义分割网络和图像融合网络结合，注意不是以往方法的采用的级联方式，而是将分割网络和融合网络耦合+级联至一个框架中
图像融合论文速读：(PSFusion)一种实用的基于渐进式语义注入和场景保真度的IVIF网络 图像级融合在高级视觉任务中的潜力更大，特别是在大规模模型时代。特别是随着单模态语义分割技术的快速发展，语义驱动的图像级融合可以充分融合多模态数据和SOTA单模态分割技术的优势，无需重新设计，从而更好地应对复杂场景。
图像融合论文速读：SGFusion: A saliency guided deep-learning framework for pixel-level image fusion 该网络采用双导编码、图像重建解码和显著性检测解码过程，同时从图像中提取不同尺度的特征映射和显著性映射。将显著性检测解码作为融合权值，将图像重构解码的特征合并生成融合图像，可以有效地从源图像中提取有意义的信息，使融合图像更符合视觉感知。
图像融合论文速读：MUFusion: A general unsupervised image fusion network based on memory unit 该文提出了一种基于新的记忆单元结构的自进化训练的【端到端】的【通用】图像融合模型MUFusion，可以处理多模态图像融合（IVIF、医学）及数字摄影图像融合（多聚焦、多曝光）任务。
图像融合论文阅读：（TLGAN）Boosting target-level IVIF with regional information coordination 现有的方法【倾向于评估全局信息】，忽略了【特征提取过程中】对【特定目标信息】的保留，导致了一定程度的信息丢失。为了解决这个问题，作者提出了一种【目标级】的IVIF方法，通过【场景纹理关注模块】增强全局信息的互补描述，通过利用加入【目标级损失函数】的【目标提取模块】保留目标区域特征，并通过【目标-场景信息损失函数】的协调，实现了目标信息和场景信息的均衡。
图像融合论文阅读：YDTR: Infrared and Visible Image Fusion via Y-Shape Dynamic Transformer 现有的基于深度学习的方法通常通过卷积运算从源图像中提取互补信息，这导致【全局特征保留有限】。为了解决这个问题，作者提出了一种Y形动态transformer（YDTR）动态transformer模块（DTRM）不仅用来获取局部特征，还可以获取上下文信息。Y形网络可以更好的保留细节此外作者还设计了由结构相似性SSIM和空间频率SF组成的损失函数
图像融合论文阅读：CS2Fusion: 通过估计特征补偿图谱实现自监督红外和可见光图像融合的对比学习 将红外光图像视作可见光图像的补充，使用CPN生成红外图像特征补偿图，以此指导backbone生成融合图像。
图像融合论文阅读：CrossFuse: 一种基于交叉注意机制的红外与可见光图像融合方法 以往的交叉注意力只考虑相关性，而图像融合任务需要关注互补信息。为了解决这个问题，作者提出了CrossFuse，使用【交叉注意力机制CAM】增强互补信息，使用了两阶段训练策略。第一阶段为两种模态训练结构相同的自编码器第二阶段固定编码器参数，训练CAM和解码器
图像融合论文阅读：(DIF-Net)Unsupervised Deep Image Fusion With Structure Tensor Representations 早期2020年的一篇CNN-VIF论文。使用CNN完成特征提取、特征融合、图像重建。使用【多通道图像对比度】的【结构张量】作为损失函数
图像融合论文阅读：MURF: Mutually Reinforcing Multi-Modal Image Registration and Fusion 以往的方法是将配准和融合分开，作者提出的新方法是将两者结合并相互促进。
图像融合论文阅读：A Deep Learning Framework for Infrared and Visible Image Fusion Without Strict Registration 以往的融合算法需要在配准的图像上进行，为了解决这个问题，作者提出了一种融合不需要严格配准可见光和红外图像的算法，该算法利用CNN和Transformer分层交互嵌入模块（CNN-Transformer Hierarchical Interactive Embedding ， CTHIE）提取特征，设计了一个动态聚合特征表示（Dynamic Re-aggregation Feature Representation ， DRFR）模块用来配准。
图像融合论文阅读：Real-time infrared and visible image fusion network using adaptive pixel weighting strategy 采用【自适应像素加权】（Adaptive Pixel Weighting strategy， APWNet）策略融合图像，并联合【目标检测】下游任务。具体来说，将可见光和红外光图像concat后输入卷积层，提取权值图，然后将其分别与对应的源图逐元素乘和加操作得到融合图像，将融合图像作为yolov5s的输入进行目标检测。（在训练过程中，根据检测结果反向优化网络参数）
图像融合论文阅读：DDFM: Denoising Diffusion Model for Multi-Modality Image Fusion 这篇文章和CDDFuse是同一个团队的成果。作者利用扩散概率模型DDPM（denoising diffusion probabilistic model ）用在多模态图像融合任务中，提出了去噪扩散图像融合模型（Denoising Diffusion image Fusion Model (DDFM)），融合任务被定义为了在DDPM采样网络下的条件生成问题，并进一步划分为了：无条件生成和最大似然这两个子问题。
图像融合论文阅读：Dif-fusion: Towards high color fidelity in infrared and visible image fusion with diffusion 以往的VIF网络将多通道图像转换为单通道图像，忽略了【颜色保真】，为了解决这个问题，作者提出了【基于扩散模型】的图像融合网络【Dif-Fusion】，在具有正向扩散和反向扩散的潜在空间中，使用降噪网络【建立多通道数据分布】，然后降噪网络【提取】包含了可见光信息和红外信息的【多通道扩散特征】，最后将扩散特征输入多通道融合模块生成三通道的融合图像。
图像融合论文阅读：CoCoNet: 基于多层特征集成的耦合对比学习网络多模态图像融合 作者提出了一种耦合对比学习网络CoCoNet，这是一个【通用】的图像融合网络。使用耦合对比学习来指导模型区分目标以及纹理细节，并且采用了一种测量机制来计算源图像的比例重要性，以生成数据驱动的权重并应用于损失函数之中。
图像融合论文阅读：LRRNet: A Novel Representation Learning Guided Fusion Network for Infrared and Visible Imag 作者构建了一种【端到端】的【轻量级】融合网络，该模型使用训练测试策略避免了网络设计步骤。具体来说，对融合任务使用了【可学习的表达方法】，其网络模型构建是由生成可学习模型的优化算法指导的。【低秩表达】（low-rank representation ，【LRR】）是算法核心基础。并提出了一种新的细节语义信息损失函数
图像融合论文阅读：(DeFusion)Fusion from decomposition: A self-supervised decomposition approach for image fus 作者提出了一个图像分解模型（DeFusion），通过【自监督】实现图像融合。在没有配对数据的情况下，该模型可以将源图像【分解到特征嵌入空间】（在该空间中可以分离共有特征和独有特征），在分解阶段通过联合训练的重构头在嵌入空间内实现图像融合。该模型是一个图像融合的【通用模型】
图像融合论文阅读：ReCoNet: Recurrent Correction Network for Fast and Efficient Multi-modality Image Fusion 大多数现有方法无法处理轻微【错位】图像（即未对齐、配准）且【计算消耗较高】，为了解决这两个问题，作者提出了ReCoNet，该模型分别使用【变形模块】来补偿未配准问题，使用【注意力机制】减轻重影伪影问题。同时，该网络包含了一个【循环运行的并行膨胀卷积层】，显著降低空间和计算复杂度。
关注
