渐进式语义注入和场景保真度的图像融合

传统方法：拉普拉斯金字塔、离散小波、非下采样contourlet变换、潜在低秩表示、稀疏表示、主成分分析和非负矩阵分解。

深度学习方法：预训练框架：在大规模数据集上训练自编码器（设计网络架构和融合策略）

                       端到端的融合框架：基于显著目标掩模的融合损失

提出：在特征层将语义感知任务中涉及的语义特征明确地注入融合网络

目前提出的所有方法都没有考虑到后续高级视觉任务对融合结果的要求。

一、总体框架

浅层特征包含丰富的细节和结构信息（提出基于通道空间注意机制的浅层细节融合模块SDFM）

基于交叉注意的深刻语义融合模块PSFM

（1）语义驱动图像融合

第一次提出语义驱动融合算法:SeAfusion ；用目标检测代替分割网络；使用两种目标检测模型联合约束融合网络；提出在特征层将语义感知任务中涉及到的语义特征明确地注入融合网络。

（2）单模态语义分割

cnn将密集语义分割作为端到端的逐像素分类任务；

语义分割开发了一些定制化的特征提取网络：SETR[47]、SegFormer[48]、DPT[65]、SegNeXt[66]

（3）多模态语义分割

多光谱语义分割数据集MFNet;ResNet作为编码器来提取更完整的特征。为了实现充分的互补信息聚合，设计了一些新的特征融合模块，包括互补激活模块[21]、多模态融合模型[20]、信道加权特征融合模块[22]和深度特征融合模块[18]；SegFormer先进的骨干网络

二、相关工作

首次提出在特征层显示注入语义信息，以适应不同的高层语义模型

场景恢复分支：场景保真度路径和图像融合路径

稀疏语义感知分支：最后三张黑图（边界分割结果、语义分割结果、二值分割结果）

浅层特征融合模块（基于通道-空间注意机制）：SDFM

开发了交叉注意的深度语义融合模块(PSFM):整合深度特征

（1）语义感知分支：

（2）场景恢复分支：