GAN：无监督：遥感融合

小郭同学要努力

已于 2022-10-24 08:47:41 修改

阅读量1.2k

点赞数 2

分类专栏：图像融合文章标签：生成对抗网络深度学习计算机视觉 1024程序员节

于 2022-10-21 14:34:49 首次发布

本文链接：https://blog.csdn.net/weixin_43690932/article/details/127424971

版权

图像融合专栏收录该内容

134 篇文章 79 订阅

订阅专栏

Pan-GAN: An unsupervised pan-sharpening method for remote sensing image fusion

（Pan-GAN: 一种用于遥感图像融合的无监督pan-锐化方法）

遥感图像融合中的Pan-sharpening（泛锐化）是指通过融合全色图像和低分辨率的多光谱图像来获得高分辨率的多光谱图像。
最近，基于卷积神经网络 (CNN) 的泛锐化方法已经达到了最先进的性能。尽管如此，仍然存在两个问题。一方面，现有的基于CNN的策略需要监督，其中低分辨率多光谱图像是通过简单地对高分辨率图像进行模糊和向下采样来获得的。另一方面，它们通常会忽略全色图像的丰富空间信息。我们提出的这种新颖的无监督的Pan-sharpening框架，该框架基于生成性对抗网络 (称为PanGAN)，该网络在网络训练过程中不依赖于所谓的地面真相。在我们的方法中，生成器分别与光谱鉴别器和空间鉴别器建立对抗博弈，从而保留了多光谱图像的丰富光谱信息和全色图像的空间信息。

介绍

多光谱图像具有高光谱分辨率，而空间分辨率低，这受到板载存储和带宽传输的限制。相反，由于大的瞬时视场，全色图像具有低光谱分辨率但高空间分辨率 。
基于Pan-sharpening的融合方法已经提出来了很多，传统方法可以分为四类：

1）methods based on component substitution (CS)（基于构件替换的方法）

例如：GS adaptive (GSA) 是一种通用方案，它能够通过采用多元回归来对任何CS图像融合方法进行建模，从而在不降低空间质量的情况下提高光谱质量。

使用部分替换的基于自适应分量替换的融合 (Adaptive component-substitution-based fusion using partial replacement (PRACS)) 通过部分替换生成高/低分辨率合成分量图像，并使用基于统计比率的高频注入。

优点：这些方法通常对其变换域中的某些分量使用线性变换和替换，这些变换非常快速且易于实现，例如强度-色相-饱和度（intensity-hue-saturation）和主要分量变换点。

2) multi-scale decomposition-based methods（基于多尺度分解的方法）

例如：耦合非负矩阵分解(coupled nonnegative matrix factorization (CNMF)) 分解法交替地将高光谱和多光谱数据分解为end member and abundance matrices，将与两个数据相关的传感器观察模型内置到每个NMF分解过程的初始化矩阵中。

调制传递函数-广义拉普拉斯金字塔 (Modulation transfer functions-generalized
Laplacian pyramid (MTF-GLP))是一种多尺度且过采样的结构，它依赖于广义拉普拉斯金字塔 (GLP)，它有选择地执行从图像到另一图像的空间频率注入，其约束是彻底保留较粗数据的频谱信息。

优点：基于多尺度分解的方法，包括三个步骤，即分解，融合和变换。基于分解的方法提供了空间和频域定位，并获得了更好的性能。

3）hybrid method（混合方法）
例如，在混合颜色映射 (hybrid color mapping (HCM))中，集成了两种新开发的技术。一种是HCM算法，另一种是单图像超分辨率的即插即用算法（plug-and-play algorithm）

4）model-based methods（基于模型的方法）

在带相关空间细节 (band-dependent spatial-detail (BDSD))中，该解决方案最小化了低分辨率多光谱图像与通过降级版本在空间上增强多光谱图像的降级版本而获得的融合结果之间的平方误差，通过相同的比例因子，全色图像。

5）然而，由于从遥感物理学的角度来看不现实的强烈假设，这些传统方法会遭受严重的光谱失真 。提出了基于深度学习的如PNN 、PanNet和PSGAN，尽管它们在频谱失真很少的情况下实现了理想的融合性能，但尚未解决两个问题：

i）传统的基于深度学习的 pan-sharpening 需要额外的监督。他们将原始的高分辨率多光谱 (high-resolution multi-spectral (HRMS)) 图像视为基本事实。由于低分辨率多光谱 ( low-resolution multi-spectral (LRMS)) 图像与HRMS图像之间的关系往往不服从简单的模糊和插值操作，因此通过对原始HRMS图像进行模糊和下采样来获得LRMS图像是不合理的。

ii）他们主要通过在所谓的地面真相 (即原始HRMS图像) 的监督下将CNN模型视为黑匣子来使用光谱信息，但是忽略了全色图像丰富的空间信息。

综上我们提出了新的方法基于生成对抗网络的---->Pan-GAN
Pan-sharpening可以表述为多任务问题，旨在保留LRMS图像的光谱信息并维护全色图像的空间信息。更具体地说，由于缺乏地面真相，假定融合图像的光谱分布应与LRMS图像的光谱分布一致，并且融合图像的空间分布应与具有相同分辨率的全色图像的空间分布一致。

因此，在提出的无监督Pan-GAN框架中，生成器尝试生成包含LRMS图像的主要光谱信息以及全色图像的附加图像梯度（additional image gradients of the panchromatic image）的HRMS图像。然后，通过对抗系统，光谱鉴别器试图迫使生成的图像的光谱信息与LRMS图像的光谱信息一致，而空间鉴别器试图迫使生成的图像的空间分布类似于全色图像。因此，我们提出的Pan-GAN可以共同保留LRMS图像的丰富光谱信息和全色图像的丰富空间信息。

贡献

1）与其他基于CNN的泛锐化方法不同，我们的无监督泛锐化框架 (Pan-GAN) 基于生成对抗网络，该网络不依赖于所谓的groundtruth，并且训练过程基于原始源图像通过设计特定的损失函数。

2）我们提出的Pan-GAN采用两个鉴别器来强制生成的图像的光谱和空间信息分别与LRMS和全色图像一致。这样，可以同时保留LRMS图像的丰富光谱信息和全色图像的丰富空间信息。

3）我们提供了Pan-GAN与其他最新方法之间的定性和定量比较，以显示所提出方法的有效性和优越性。

方法

Overview of the framework

多光谱和全色图像融合的主要目标是保留空间和光谱信息。然而，现有的基于CNN的方法，例如PNN和PSGAN，通常将泛锐化视为黑盒深度学习问题。尽管PanNet专注于保留空间和光谱信息，但它通过将插值的多光谱图像与CNN获得的高频信息相结合来获得融合图像，这很可能导致结果模糊。此外，上述方法依赖于地面真相图像，即Wald协议，其中所有原始图像都被高斯核模糊，然后被降采样4倍。所有这些下采样的图像都被视为训练数据，原始图像被视为ground-truth。但是，此操作可能没有意义。实际上，LRMS和HRMS图像之间的关系总是倾向于不服从简单的模糊和下采样操作，这在现实世界中受到许多不同因素的影响。因此，我们提出了一种无监督的泛锐化框架Pan-GAN，该框架使用原始源图像作为训练数据，并在没有地面真相监督的情况下获得HRMS融合图像。
为了保留LRMS图像的光谱信息和全色图像的空间信息，我们将泛化问题表述为多任务问题，并利用生成对抗策略对其进行求解，如下图所示：
请添加图片描述
（4 ↑ 表示将原始多光谱图像上采样到与全色图像相同的分辨率，AP表示对生成的图像实现平均池化操作以将其转换为单个通道。生成器和鉴别器之间的箭头表示对抗关系。）

在不失一般性的情况下，本文使用的所有LRMS图像都有4个光谱带。首先，我们将LRMS图像插值为与全色图像相同的分辨率，下一步是将它们堆叠在通道维度上。特别地，堆叠图像的第一通道是全色图像，其余通道对应于内插LRMS图像。然后，堆叠的图像被馈送到生成器G中，并且G的输出是泛锐化（ Pan-sharpening）图像，即HRMS图像。但是，仅由损失函数指导而没有两个鉴别器的生成结果总是倾向于具有严重的频谱失真或缺乏空间信息，这无法在频谱和空间信息之间取得平衡。

为了克服这一挑战，我们将保存LRMS图像的光谱信息和维护全色图像的空间信息视为两个任务，我们可以分别利用两个鉴别器来处理。**第一个鉴别器D1称为光谱鉴别器，**旨在强制生成的图像的光谱信息与LRMS图像的光谱信息一致。我们首先将生成的LRMS图像插值为与生成的HRMS图像具有相同分辨率，然后将HRMS图像和上采样的LRMS图像输入到D1中，这也可以使生成的HRMS图像的光谱分布与原始LRMS图像的光谱分布一致。**第二个鉴别器D2称为空间鉴别器，**旨在强制生成的图像的空间信息与全色图像的空间信息一致。我们对生成器沿通道维度生成的HRMS图像实现了平均池化，以在单个通道中获取图像。然后我们将该单通道图像和全色图像输入到D2中，这将使生成的HRMS图像的空间分布与原始全色图像的空间分布一致。在训练过程中，一旦这两个鉴别器无法区分它们的输入，我们就可以获得理想的HRMS图像。
此外，为了更好地维护规范信息，我们在结果和插值LRMS之间进行直方图匹配。更具体地说，融合图像的直方图应与插值LRMS的直方图相似。

Loss Functions

Pan-GAN由三个部分组成，即一个生成器和两个鉴别器 (包括空间鉴别器和光谱鉴别器)。

Loss function of generator

请添加图片描述

其中，D1表示光谱鉴别器，c表示生成器希望光谱鉴别器相信假数据的值。该术语实际上测量了生成的HRMS图像和LRMS图像之间的光谱信息多样性，这也称为光谱对抗损失。

L spatial 表示生成的HRMS图像的空间信息与原始全色图像的空间信息之间的空间损耗，其定义如下:
其中，𝐼 (𝑛) pan表示原始全色图像，∇ 表示梯度算子提取高频空间信息 ,𝜇 是一个正则化参数，它被设置为平衡频谱和空间信息之间的损失 (这个术语我们也称为基本损失)，𝛽 是一个正则化参数，用于在两个项之间建立平衡，AP (·) 表示沿着信道维度的平均池化函数。但是，空间信息不能完全由梯度表示。因此，我们也类似地添加了第二项来填补这一空白，它可以写成以下形式:
请添加图片描述
其中，D2表示空间鉴别器，d表示生成器希望空间鉴别器相信假数据的值。这个术语也被称为空间对抗损失。

Loss function of discriminator

实际上，在我们的Pan-GAN中有两个鉴别器: 一个用于光谱保存，另一个用于空间保存。它们的损失函数可以统一定义如下:

其中I (n) 表示目标图像，我们要拟合其分布。a和b分别表示目标图像I (n) 和生成的HRMS图像 𝐼 ( 𝑛 ) 𝑓 的标签，D ( I ( n ) ) and 𝐷( 𝐼 ( 𝑛 )）分别表示目标图像和生成的HRMS图像的分类结果。本文采用最小二乘损失作为损失函数。它服从最小化Pearson𝜒2发散，使训练过程更加稳定和快速收敛。
为了保留光谱信息，我们设置了 𝐷 = 𝐷1和 𝐼 ( 𝑛 ) = ↑ 𝐼 ( 𝑛) ms。换句话说，我们的光谱鉴别器旨在将生成的HRMS图像与插值的LRMS图像区分开。基于光谱信息分布不会随比例变化的假设，我们还强制将生成的HRMS图像的光谱信息与LRMS图像具有相似的分布。一旦频谱鉴别器在对抗过程中无法区分 𝐼 ( 𝑛 ) 𝑓 和 ↑ 𝐼 ( 𝑛) ms，我们就达到了目标。

为了保留空间信息，我们设置了 𝐷 = 𝐷 2，𝐼 (𝑛 ) 𝑓 = 𝐴𝑃 (𝐼（n）𝑓) 和 𝐼 ( 𝑛 ) = 𝐼 ( 𝑛) pan，我们的空间鉴别器旨在将生成的平均池化HRMS图像与原始全色图像区分开。空间信息不能仅用梯度表示，它们可以服从特定的分布。一旦空间鉴别器无法区分 𝐴𝑃 ( 𝐼 ( 𝑛) 𝑓) 和 𝐼 (𝑛)pan），我们生成的HRMS图像可以很好地保留原始全色图像的空间信息。

Network architectures

请添加图片描述
（生成器，频谱鉴别器和空间鉴别器的网络体系结构。左侧显示了特征图的数量，右侧给出了过滤器的大小）

Network architecture of generator

在本文中，我们采用了PNN的体系结构，该体系结构最初用于图像超分辨率。与残差网络相比，PNN的体系结构更加简单，易于训练。因此，我们的生成器体系结构具有三个卷积层，其滤波器尺寸分别为9 × 9、5 × 5和5 × 5。通过填充将步幅设置为1，并且每个层中提取的特征图的数量分别设置为64、32和4。为了加快模型训练的收敛速度，使其更加稳定，我们服从DCGAN设计的规则，即所有激活函数都是ReLU，除了最后一层是tanh。在最后一层我们采用批归一化，这可以克服对数据初始化的敏感性，避免梯度消失的问题。此外，我们还通过添加一些受DenseNet启发的跳过连接来更新PNN体系结构。这些跳过连接可以将更多细节传递到后面的层，以充分利用有效信息，并使我们的训练过程变得有效。实验结果也验证了这些跳过连接的有效性。
应该注意的是，我们的生成器中的图像比例在不同的层中保持相同，这与原始GAN不同。现有的作品通常为发生器使用编码器和解码器的架构。但是，编码器需要对图像进行下采样，这可能会丢失原始图像的一些重要信息。因此，我们避免在生成器中进行此操作。

Network architecture of discriminator

尽管我们的Pan-GAN由两个鉴别器组成，即光谱鉴别器和空间鉴别器，但它们具有相同的结构，具有不同的输入。我们将完全卷积神经网络用于判别器，每个判别器都由六层组成。前五层的过滤器尺寸为3 × 3，最后一层的过滤器尺寸为4 × 4。前五层的步幅设置为2，最后一层设置为1。不同层中提取的特征图的数量分别设置为16、32、64、128、256和1。此外，我们还遵守DCGAN提出的规则，除了第一层，即在其他五层中使用批归一化和leaky ReLU作为激活函数。对于光谱鉴别器，输入是生成的HRMS图像或插值的LRMS图像。对于空间鉴别器，输入是原始全色图像或生成的HRMS图像在沿通道维度进行平均池化之后生成的单通道图像。判别器的输出既是分类结果。