CV.4 MMPN Multi-supervised Mask

标题: MMPN: Multi-supervised Mask Protection Network for Pansharpening

---

⏲️ 年份: 2023
👀期刊/影响因子:
📚 数字对象唯一标识符DOl: 10.24963/ijcai.2023/64
🤵 作者: Chen Changjie,Yang Yong,Huang Shuying,Tu Wei,Wan Weiguo,Wei Shengna

---

👁️‍🗨️摘要:

论文提出了一种名为MMPN（Multi-supervised Mask Protection Network）的深度学习模型，旨在解决全色（PAN）图像与多光谱（MS）图像融合过程中出现的边缘模糊和光谱失真问题。该研究旨在生成高空间分辨率的多光谱图像（HRMS），这对于诸如变化检测、救援、导航和地图制作等领域至关重要。

👀研究背景和研究问题:

研究背景

遥感图像的应用与挑战

遥感技术在众多领域如变化检测、紧急救援、导航和地图绘制中扮演着至关重要的角色。遥感图像通常分为全色图像（PAN）和多光谱图像（MS）。全色图像具有高空间分辨率但光谱信息单一，而多光谱图像则光谱分辨率高但空间分辨率较低。为了获得既具有高空间分辨率又保留丰富光谱信息的图像，研究者们致力于开发“全色增强”（Pansharpening）技术，即将PAN图像与低空间分辨率的多光谱图像（LRMS）融合生成高空间分辨率的多光谱图像（HRMS）。

现有方法的局限性

尽管基于深度学习（DL）的全色增强方法在提升客观性能指标上取得了显著成效，但它们仍面临两大主要问题：

• 边缘模糊：传统的卷积神经网络（CNNs）通过增加卷积核尺寸以扩大感受野来捕获更多特征，但这会导致图像边缘的梯度信息减弱，进而产生边缘模糊。
• 光谱失真：多数方法仅关注PAN与HRMS图像边缘梯度信息的相似性，忽视了低分辨率多光谱（LRMS）与HRMS图像边缘相邻区域的强度变化，导致光谱失真。

研究问题

鉴于上述挑战，本研究旨在解决以下核心问题：

• 如何在融合过程中保护边缘信息：研究如何设计一种策略，在特征提取过程中减少邻域信息对边缘像素的干扰，从而保护图像边缘细节。
• 如何克服光谱失真：探索如何在学习过程中克服因忽略光谱信息变化而导致的光谱失真问题，确保融合图像在保持高空间分辨率的同时，光谱信息准确无误。
• 提高融合效果与泛化能力：研发一个能够同时优化空间和光谱信息保真度的网络架构，并通过合理的损失函数设计，提高模型的融合效果和对未见数据的适应性。

研究贡献

为了解决这些问题，论文提出了以下贡献：

1. 掩码保护策略（MPS）：通过定义掩码保护矩阵，设计了一种策略来保护边缘信息免受特征提取过程中邻域信息的干扰。
2. 多监督掩码保护网络（MMPN）：基于MPS构建了一个包含四个分支的网络结构，采用相同的结构进行多任务学习，以分别学习图像边缘两侧不同区域的特征，并实现高质量的图像融合。
3. 联合多监督损失函数：为每个分支定义不同的损失项，并结合为一个联合损失函数，以实现网络的有效训练。

通过实验验证，MMPN在模拟和实际卫星数据集上展现出了优于当前最优方法的主观和客观性能，有效解决了全色增强中的边缘模糊和光谱失真问题。

🎨研究方法及改进:

研究方法

1. 分析灰度值变化关系：首先，作者分析了高分辨率图像与其对应的降质图像之间的灰度值变化趋势，以此为基础设计了掩码保护策略（MPS）。该策略旨在指导网络学习过程中保护边缘信息，避免边缘细节被破坏。
2. 设计掩码保护策略（MPS）：MPS设计了一种掩码保护矩阵，用于在特征学习阶段保护边缘信息不受邻域信息的干扰。这有助于网络更准确地恢复出清晰的边缘，防止边缘模糊现象。
3. 构建多监督掩码保护网络（MMPN）：基于MPS，构建了一个包含四个分支的网络结构。每个分支都采用了双流多尺度特征融合模块（DMFFM），用于从两个输入图像（即PAN和低分辨率多光谱图像LRMS）中提取并融合特征。这种设计允许网络分别学习图像边缘两侧特征，进一步细化边缘并维持光谱一致性。
4. 双流多尺度特征融合模块（DMFFM）：这是MMPN中的关键组件，它由两部分组成，分别处理PAN和LRMS图像的特征提取，然后通过融合操作合并这些特征。FEB（特征提取块）在此模块中起着核心作用，实验表明其性能优于其他网络结构如卷积块或残差块。
5. 多任务学习与联合损失函数：MMPN中的每个分支负责一个特定的学习任务，通过定义不同的损失项针对融合图像的质量、边缘保护等方面，然后将这些损失项组合成一个联合损失函数，用于指导整个网络的训练过程。这样不仅提升了图像的融合质量，还增强了网络的泛化能力。

改进点

• 掩码保护策略（MPS）：通过引入掩码机制，有效解决了传统深度学习方法中由于卷积操作引起的边缘信息模糊问题，保护了边缘细节。
• 双流多尺度特征融合：DMFFM的引入允许网络在不同尺度下并行处理空间和光谱信息，提高了特征提取的效率和精度。
• 多监督学习机制：四分支网络设计和多任务学习框架促进了对不同特征的独立学习，同时通过联合损失函数实现了对多个目标的综合优化，提升了最终融合图像的主观和客观质量。
• 网络泛化能力提升：通过对网络结构的精心设计（如使用数据增强的双分支DB）和损失函数的优化，提高了模型在真实数据上的表现，增强了模型的泛化能力。

‼️实验对比结果:

该论文的实验对比结果显示，提出的多监督掩码保护网络（MMPN）在模拟和真实卫星数据集上，无论是主观视觉效果还是量化指标方面，均取得了优于其他方法的先进性能。

模拟数据集实验

在IKONOS、Pleiades和WorldView-3等卫星数据集的模拟实验中，MMPN与其他方法进行了比较。结果显示，基于多项客观评价指标，如峰值信噪比（PSNR）、均方根误差（RMSE）、相对平均光谱误差（RASE）、通用图像质量指数（UIQI）、Qn2、光谱角映射器（SAM）和无量纲全球合成误差（ERGAS），MMPN获得了最佳或接近最佳的表现。例如，在WorldView-3数据集中，MMPN在所有指标上均表现出色，特别是PSNR高达33.3068，明显高于其他方法。此外，通过计算融合结果与真实图像（GT）之间的残差图，可以直观看到MMPN产生的残差信息最少，进一步证实了其优越性。

真实数据集实验

在Pleiades的真实数据集上，MMPN同样展现了优异的性能。通过直接观察融合图像，可以发现MMPN的融合结果在保持边缘清晰度和光谱保真度方面明显优于其他方法，如DRPNN、FusionNet等，这些方法的边缘更加模糊且亮度较低。此外，通过消融实验数据，可以看出加入下采样分支（DB）后，MMPN在Dλ、Ds和QNR等指标上有进一步的改善，表明该分支对提高图像质量有积极作用。

分类应用实验

为了评估融合方法的应用属性，进行了图像分类实验。结果显示，MMPN相比其他比较方法获得了最高的分类准确率，证明了其生成的融合图像不仅在视觉和量化指标上有优势，还能在实际应用如图像分类中提供更好的性能支持。

消融实验

消融实验验证了掩码保护策略（MPS）、下采样分支（DB）以及双流多尺度特征融合模块（DMFFM）对MMPN性能的贡献。特别是，仅使用MPS的模型相较于不使用MPS的模型在性能上有显著提升，说明MPS有效地保护了空间特征不被破坏。而加入DB后，虽然PSNR略有下降，但整体性能指标如Dλ、Ds和QNR得到了改善，显示了多分支结构对于提高融合质量的作用。

📚数据集以及评价指标:

数据集

1. 模拟数据集：论文中使用的模拟数据集来源于Pleiades、IKONOS和WorldView-3卫星图像。这些数据集包含了不同场景的图像对，用于生成高质量的融合图像。模拟数据集通常用于创建具有已知地面真实（Ground Truth, GT）的测试条件，便于评估算法的性能。
2. 真实数据集：除了模拟数据，论文还在Pleiades的真实数据集上进行了实验，这有助于验证方法在实际应用环境中的表现。真实数据集的使用能更好地反映算法在面对自然变化和复杂环境时的能力。

评价指标

论文中采用的评价指标涵盖了空间信息的保持、光谱保真度以及整体图像质量等多个方面，具体包括但不限于以下几项：

1. 峰值信噪比（PSNR）：衡量图像的信号强度与噪声水平之比，值越高表示图像越清晰，噪声干扰越小。
2. 均方根误差（RMSE）：用来衡量预测值与真实值之间的差异，值越小表示预测越准确。
3. 相对平均光谱误差（RASE）：评估光谱信息的保真度，值越低意味着光谱失真越小。
4. 通用图像质量指数（UIQI）：综合评价图像的质量，考虑了图像的局部结构相似性、亮度差异和对比度等因素。
5. Qn2：另一种图像质量评价指标，具体定义未在摘要中提及，但通常这类指标反映了图像的总体质量。
6. 光谱角映射器（SAM）：通过计算预测光谱和真实光谱之间的角度差，评估光谱保真度，值越小表示保真度越高。
7. 无量纲全球合成误差（ERGAS）：一种衡量图像融合质量的综合指标，特别适用于评价空间分辨率增强的图像，值越低表示融合效果越好。
8. 分类准确率：在应用实验中，通过ENVI工具进行图像分类，以分类准确率来量化不同融合方法的性能。这能够评估融合图像在实际应用中的信息提取能力。

---

💯论文创新点:

创新点主要集中在以下几个方面：

1. 多监督掩码保护策略（MPS）的提出：针对传统深度学习方法在图像融合过程中容易导致边缘模糊和光谱失真的问题，该论文设计了一种新的掩码保护策略。通过对高分辨率图像和降质图像之间的灰度值变化趋势分析，MPS旨在保护图像边缘信息不受邻域信息干扰，在特征学习过程中维持边缘完整性。这有助于指导网络分别学习图像边缘两侧不同区域的特征，从而提升融合图像的边缘细节和真实性。
2. 多监督掩码保护网络（MMPN）的构建：基于MPS，论文构建了一个包含四个分支的多监督掩码保护网络，每个分支具有相同的结构以实现多个融合任务的学习。这种设计不仅能够防止空间信息受损，还能克服光谱失真问题。MMPN的四分支结构使得网络可以更全面地学习和优化融合过程，提升融合结果的双重视觉保真度（即空间和光谱信息的保真）。
3. 双流多尺度特征融合模块（DMFFM）的设计：DMFFM是MMPN的核心组件，它采用双流输入和多尺度特征提取层来适应监督图像的分布。该模块通过两个具有相同结构的编码器分别从两幅输入图像中提取特征，并利用一个解码器重建并输出融合结果。特别地，DMFFM内的特征提取块（FEB）采用残差结构，结合深度卷积、逐层归一化、点卷积和ReLU激活函数，有效融合空间和通道特征，同时允许使用大尺寸卷积核以扩大感受野而不会显著影响边缘信息。
4. 联合多监督损失函数的定义：为了优化网络训练，论文为MMPN的四个分支定义了不同的损失项，并将其组合成一个联合损失函数。这种多目标优化策略确保了网络能够在不同方面（如边缘保持、光谱一致性等）达到良好的性能平衡，进一步提高了融合图像的质量。

❓启发与思考:

🍞不足及可改进的点: