论文总结Classification of Hyperspectral Images Based on Multiclass Spatial–Spectral GAN

参考论文：Classification of Hyperspectral Images Based on Multiclass Spatial–Spectral Generative Adversarial Networks
发表期刊：IEEE Transactions on Geoscience and Remote Sensing （IF2018：6.73）
用GAN来做分类的文章比较少，最近打算总结一下这个领域方向~

1. 摘要和贡献

生成对抗网络（GAN）以通过对抗过程训练生成器和鉴别器来生成样本而闻名。对于高光谱图像分类，样本的采集总是很困难。然而，直接将GAN应用于高光谱图像分类存在两个问题。一个是生成的样本缺乏判别信息。同时，鉴别器对多分类没有判别能力。另一个是需要在高光谱图像分类中同时考虑空间和光谱信息。为了解决这些问题，提出了一种新颖的多类空间光谱GAN（MSGAN）方法。在MSGAN中，设计了两个发生器以分别生成包含空间和光谱信息的样本，并且设计鉴别器以提取联合空间光谱特征并输出多类概率。此外，还定义了多类的新颖对抗目标。设计鉴别器以预测属于真实类别的训练样本，并以相同的概率生成属于所有类别的样本。设计生成器以使鉴别器犯错。通过鉴别器和发生器之间的对抗性学习，在有鉴别性的生成样本的帮助下促进鉴别器的分类性能。高光谱图像的实验结果表明，与几种最先进的方法相比，所提出的方法实现了令人鼓舞的分类性能，特别是对于有限的训练样本。
作者的贡献主要表现在两个方面：
1.一个是生成的样本缺乏判别信息。同时，鉴别器对多分类没有判别能力。
2.另一个是需要在高光谱图像分类中同时考虑空间和光谱信息。

2. 结构、方法、细节

图1. 提出的MSGAN框架

作者在MSGAN中，通过生成器G1生成一维光谱（1D-TCN），通过生成器G2生成spatial patches，鉴别器设计为提取通过1-D CNN和2-D CNN从光谱和spatial patches中提取的联合空间光谱特征，并通过soft-max分类器输出多类概率。

2.1 损失函数

个人理解，作者应该是在ACGAN的基础上将一个生成器变成了两个生成器，然后写出来的loss函数~

3. 实验

4. 心得

作者实验做的挺详实的，一定程度上阐述了对抗训练在小样本分类问题上是有作用的，但是作者没有从数学上证明为什么对抗训练可以用来增加分类~