基于多类空间光谱生成式对抗网络的高光谱图像分类

最新推荐文章于 2023-05-29 00:59:05 发布

pu_gong_ying_l

最新推荐文章于 2023-05-29 00:59:05 发布

阅读量3.1k

点赞数 2

分类专栏：高光谱图像分类

本文链接：https://blog.csdn.net/pu_gong_ying_l/article/details/90178848

版权

针对高光谱图像分类难题，文章提出了一种多类空间光谱生成式对抗网络（MSGAN）方法。MSGAN采用两个生成器分别生成光谱和空间信息样本，并通过鉴别器提取联合空间光谱特征，实现多类概率输出。通过对抗性学习，鉴别器的分类性能得到提升，有效解决了传统GAN在多分类上的局限。该方法在不同数据集上的实验展示了其优于其他方法的分类效果。

摘要由CSDN通过智能技术生成

《Classiﬁcation of Hyperspectral Images Based on Multiclass Spatial–Spectral Generative Adversarial Networks》阅读笔记

摘要：对于高光谱图像分类，样本的采集总是很困难。然而，直接将GAN应用于高光谱图像分类存在两个问题。一个是生成的样本缺乏判别信息。同时，鉴别器对多分类没有判别能力。另一个是需要在高光谱图像分类中同时考虑空间和光谱信息。为了解决这些问题，提出了一种新颖的多类空间光谱GAN（MSGAN）方法。在MSGAN中，设计了两个发生器以分别生成包含空间和光谱信息的样本，并且设计鉴别器以提取联合空间光谱特征并输出多类概率。此外，还定义了多类的新颖对抗目标。设计鉴别器以预测属于真实类别的训练样本，并以相同的概率生成属于所有类别的样本。通过鉴别器和发生器之间的对抗性学习，在有区别的生成样本的帮助下促进鉴别器的分类性能。

引言

传统的GAN方法，它们的鉴别器缺乏多类判别能力，因此这些方法不能直接用于分类。为了实现高光谱图像的分类，提出了一些基于GAN的网络[44] - [46]。在[44]中，提出了一种基于GAN的半监督学习方法。它缩写为HSGAN。在HSGAN中，未标记的训练样本首先用于训练1DGAN。然后，通过使用标记的训练样本来训练训练的鉴别器以进行分类。但HSGAN基于1DGAN，它没有充分利用空间信息。在[45]中，提出了一种用于高光谱图像分类的3DGAN方法。 3DGAN [45]以简化的方式实现。仅保留三个主要组件作为3DGAN的输入。卷积实际上不会在光谱中滑动。在3DGAN中，尽管sigmoid和soft-max分类器都应用于鉴别器D。G和D的目标函数仅在二进制sigmoid分类器的分支中是对抗的，并且在soft-max分类器的分支中不是相互对抗的。对抗性学习不能有效地促进D的多元判别能力。因此，应用GAN提取空间光谱特征并同时实现高光谱图像的多类分类仍然是一个具有挑战性的课题。

本文提出了一种新的多光谱空间光谱GAN（MSGAN）方法用于高光谱图像分类。在MSGAN中，两个发生器G1和G2被设计成分别通过1-D转置卷积网络（1D-TCN）和2D-TCN的空间patch生成光谱。鉴别器被设计为通过使用来自光谱和空间patch的1-D CNN和2-D CNN来提取联合空间光谱特征，并通过soft-max分类器输出多类概率。鉴别器的目的是预测来自属于真实类别之一的训练样本的输入（也就是将真实样本正确分类），以及来自属于具有相同概率的所有类别的发生器G1和G2的输入。在生成器中，对抗性目标旨在使鉴别器出错。多类中的对抗性学习在辨别生成样本的帮助下提高了鉴别器的分类性能。最后，训练有素的鉴别器直接用作分类器。此外，条件标签信息被附加到生成器的输入，批量标准化策略[47]用于避免模式崩溃并提高MSGAN的稳定性。

本文的主要贡献可归纳如下:

1）MSGAN实现了基于GAN的端到端多分类。它可以生成空间和光谱样本，联合空间光谱特征提取和分类结合到一个统一的优化过程中。

2）MSGAN为生成器器和鉴别器之间的多类定义了对抗性异议。与3DGAN [40]相比，MSGAN在多类中使用对抗性学习来进一步提高鉴别器的多类判别能力。

3）对于高光谱图像中三维数据立方体的特征，MSGAN不仅生成具有一维光谱和二维空间斑块的样本，还提取联合空间光谱特征。与HSGAN [44]相比，MSGAN实现了端到端的基于GAN的分类，并利用空间信息来提升分类性能。

4）MSGAN通过充分利用多类生成的样本和对抗性学习来缓解高光谱图像的小尺寸问题。

MULTICLASS SPATIAL–SPECTRAL GAN

MSGAN由三部分组成：基于1D-TCN的生成器通过生成器G1生成，基于2D-TCN的空间patch生成通过生成器G2，联合空间光谱特征提取，以及通过鉴别器D的分类。

MSGAN的网络结构：

MSGAN的网络结构
G1的网络结构：

G1的网络结构

G2的网络结构：

G2的网络结构
D的网络结构：

D的网络结构
多类光谱空间GAN

所提出的MSGAN方法的流程图如图2所示。如图2所示，MSGAN由三部分组成：基于1D-TCN的光谱生成通过生成器G1生成，基于2D-TCN的空间patch生成通过生成器G2，联合空间光谱特征提取，并通过鉴别器D进行分类。
在高光谱图像中，像素的光谱由 $x_{spe}=\{ {x_{spe_i}}\}_{i=1}^{N}$ 表示。从高光谱图像获得相应的 $w \times w$ 空间邻域片段，并且在应用PCA以提取若干主要成分之后由 $x_{spa}=\{ {x_{spa_i}}\}_{i=1}^{N}$ 表示。然后， $x_{spe}$ 和 $x_{spa}$ 用于构成训练样本集 $x = \{(x_{spe_i}，x_{spa_i})\} _{i=1}^{N}$ ，其中 $N$ 是训练样本的数量。 $y = \{y_i\}_{i=1}^{N}$ 表示训练样本对应的一个热点编码标签。
在样本生成阶段，随机噪声z1和z2分别用作G1和G2的输入。此外，类标签y被添加到输入中以稳定发生器G1和G2并避免模式崩溃。在训练之后，生成多类光谱 $G_1(z_1,y)= \{G_1(z_{1_i},y_i)\}_{i=1}^{N}$