用于半监督高光谱异常检测的Frequency‐to‐spectrum mapping GAN

基于深度学习的高光谱异常检测算法根据标签的可用性可以大致分为三类：监督学习、半监督学习和无监督学习。

监督学习异常检测方法。数据预处理后，有监督异常检测方法先用训练集数据进行模型训练，再运用验证集进行模型性能验证，得出训练较优的模型。常见的有监督异常检测算法有：支持向量机（SVM）、决策树等
无监督学习异常检测方法不需要数据标签，可直接用数据学习模型，将学得的优化模型对测试集进行异常判别。现阶段的研究中，无监督异常检测方法主要有基于距离、密度、决策树和神经网络等方法，如k-means、密度聚类（DBSCAN）等。
半监督学习异常检测方法是介于有监督和无监督检测方法之间的一种异常检测方法，算法应用一部分标签数据学习模型，再运用学得的模型对数据进行异常判别。常见的半监督异常检测算法有：对抗生成网络（GAN），半监督聚类等。

基于传统建模的高光谱异常检测算法大致细分为两大类：背景建模和背景剔除。 

对背景或背景与异常之间的关系进行建模对于高光谱异常检测至关重要。然而，随着场景和应用的复杂化，高光谱的背景变得复杂，这限制了传统方法的检测性能。

深度学习建模算法几乎所有现有的基于USL或SSL的检测方法都使用AE模型的重建误差来测量每个像素的异常水平。然而，基于重建的方法通过输入和输出数据之间的简单等效映射来优化模型，然而这存在一些问题：

1. 在原始谱域中，HSI的光谱信息在一定程度上受到噪声和空间分辨率的影响，导致背景和异常的可分离性不明显。

2. HSI的光谱维数较高。这些因素使得AE提取的简单低级特征可以在背景和异常像素之间共享。在这种情况下，重建异常像素的可能性增加，这相对限制了网络识别异常的能力。

为了解决这些问题，这篇论文采用 semisupervised learning（SSL）的方式增强了GAN对背景分布的建模能力。提出了一种用于高光谱异常检测的频率-频谱映射生成对抗网络（FTSGAN）。

FTSGAN方法分为三个主要部分：背景样本粗选、映射网络学习和GRX AD

Background sample coarse selection 背景样本粗选

训练FTSGAN模型，将背景样本的FrFD信息逆映射到原始谱域，并通过SSL方式恢复。因此，需要构造粗糙背景样本用于模型训练。

 表示高光谱图像，其中  表示第 i 个谱向量， 分别表示长、宽以及HSI频带的个数，将第 i 个像素点  的  表示为 ，其表示  与第k个最接近的像素之间的欧几里得距离。

 的邻域像素集合  由与的距离不大于  的像素组成。

所以，像素  相对于任何像素 e 的可达距离被表示为

表示  与 e 之间的欧几里得距离。

的局部可达密度（local reachable density，LRD）可以表示为：

的绝对值表示的像素数， 越有可能属于与集合  相同的聚类， 值就越高，反之亦然。最后，像素  的异常得分是  值的倒数。

局部可达密度（Local Reachability Density，LRD）是局部异常因子（Local Outlier Factor，LOF）算法中的一个重要概念，用于度量每个数据点的异常程度。
在LOF算法中，对于每个数据点，首先计算其 k-距离（k-distance），即该点与它的第 k 近邻之间的距离。然后计算每个数据点的可达密度（reachability density），即该点到其第 k 近邻的距离与其 k-距离之间的比值。最后，计算每个数据点的局部可达密度，即以该点为中心，以其 k-距离为半径的球内的所有数据点的可达密度的平均值的倒数。 局部可达密度越小，表示该数据点所在的局部区域越稀疏，越可能是异常点。而局部可达密度越大，表示该数据点所在的局部区域越密集，越可能是正常点。

像素  在FrFD中的表示结合了像素xi的原始谱域和频域信息，并且结合的程度随着分数阶p而变化。像素  的FrFT形式被描述为

其中t和u表示索引，p表示FrFT的阶数，

其中α表示旋转角，n为整数，Aα可通过下式求得：

的振幅为

训练样本构建的主要步骤：

1. 用X中像素的LRD来表示像素的异常得分，得到初始检测结果。

2. 背景样本集 ，其中  为第i个背景谱向量， 为样本数，采用文献[1] 中的阈值分割方法进行粗选，生成训练样本。

3. 对  的每个背景原始谱进行FrFT，得到对应的FrFD样本集，其中为第i个背景频率向量， 可由式（3）-（6）得到。 是输入数据， 是相应的监督信息。

4. 将成对的背景样本集  和FrFD信息   作为训练样本，输入到FTSGAN中学习最优模型参数。

文献[1]:  Arisoy, S., Nasrabadi, N.M., Kayabol, K.: Unsupervised pixel‐wise hyperspectral anomaly detection via autoencoding adversarial networks. IEEE Geosci. Rem. Sens. Lett. 19, 5502905 (2022). https://doi.org/10.1109/LGRS.2021.3049711
这篇论文介绍了一种基于自编码对抗网络（Autoencoding Adversarial Networks, AAEs）的无监督像素级高光谱异常检测方法。该方法主要分为两个部分：特征提取和像素级异常测。在特征提取阶段，使用AAEs对原始高光谱数据进行自编码处理，将其映射到一个潜在空间中。在像素级异常检测阶段，利用局部可达密度（Local Reachability Density, LRD）和图像分割技术来检测潜在空间中异常的像素。

Mapping network learning 映射网络学习

论文提出的FTSGAN模型由两个模块组成：频谱发生器（）和频谱鉴别器（）

生成器将频率向量  从FrFD空间映射回原始谱域空间作为逆FrFT模块，鉴别器区分输入是真实的原始谱向量  还是从频率向量逆映射的伪谱向量。

简而言之，生成器  用于逆映射背景的频率向量并恢复它们，因为训练样本仅是粗略的背景信息（  和  ）。

生成器网络采用类AE结构，由6个1D卷积层和6个1D反卷积层组成。除了添加到最后一个反卷积层的Tanh层之外，其他层之后是Batch Norm 层和泄漏Leaky ReLU激活函数。

生成器  读取FrFD中的输入频率向量 ，并且通过卷积层提取嵌入特征。然后，反卷积层用于上采样，以确保输出  与输入大小相同，最后，输入被映射到原始谱域。这使得能够将背景样本的分布信息从FrFD转换和映射到原始谱域。

类似地，五个1D卷积层组成鉴别器网络  ,其预测输入数据的标签（真实的：1，伪：0），并从伪谱向量  中识别出真实的谱向量 。只要可能，就分别为输入  和  输出接近0和1的概率。

为了最大化背景原始频谱的恢复能力，论文采用GAN模型中使用的 common adversarial loss，其表示为

 是  的期望值， 总是想用输出  欺骗  ，相反地， 想要看穿  的伪装即其为真或假。因此，它们的最优模型参数可以通过 adversarial approach 联合学习，即

为了更稳定地训练模型，论文采用最小二乘损失代替负对数似然，因此  和  的损失可分别表示为

为了更好地将背景训练样本从FrFD变换到原始谱域，模型需要学习分布之间的映射关系，并将每个频率向量  对应到特定的原始谱  作为监督信息。

它的任务是匹配输入的唯一表示的嵌入特征并正确地恢复背景样本的原始光谱。

因此，由生成的真实的谱向量  和伪  之间的恢复误差（表示为），例如均方误差（MSE），应该尽可能的小。该MSE约束和对抗损失应该同时被优化。

为了保证  和  的光谱形状相似，论文加入了基于光谱角映射（SAM）的光谱约束，以提高  和  的光谱一致性。在应用中，SAM被广泛用于测量两个矢量之间的光谱相似性。该值越小，两个向量越相似。构建的谱约束如下所示：

该约束的值被映射到0-1的范围以更好地优化模型。然后，将谱约束与原始均方误差MSE约束结合，形成最终的一致性约束，同时提高了原始谱与输出谱在结构数值和谱形状上的一致性。一致性约束定义如下：

一致性约束与对抗性损失共同优化FTSGAN模型的参数。这两个约束被施加到生成器和鉴别器上，以便每个都执行其自己的任务。因此，最终损失函数定义为

其中λ是平衡项，用于确定公式（11）中的损失贡献。在发生器  和鉴别器  被反向训练以最小化损失函数等式（12）和（13）之后，获得最优模型。

GRX anomaly detection GRX异常检测

Reed‐Xiaoli (RX) global‐RX (GRX)
GRX AD是一种基于密度的异常检测方法，可以用于高维数据中异常点的检测。该方法基于局部可达密度（LRD）和k距离图的概念，通过比较点的局部密度和其k距离邻居的平均局部密度来识别异常点。GRX AD方法通过引入距离矩阵重构（Distance Matrix Reconstruction，DMR）技术来构建k距离图，从而减少了局部最优解的影响。该方法在多个数据集上进行了实验，取得了较好的异常检测性能。

在推断和检测过程期间，使用公式(3)-(6) 获得的X的FrFD信息  被馈送到训练的 ，由于使用了基于SSL的训练方法，提出的FTSGAN模型更加关注背景样本，可以很好地从FrFD恢复背景样本，但不能正确恢复异常。

这导致背景样本的较小恢复误差和异常样本的较大恢复误差，合成图像  可视为恢复的背景图像，原始图像X减去恢复的背景图像  得到差分图像，其中为第i个差分向量，从而去除大部分背景像素，更好地分离图像中的异常。

马氏距离考虑了图像的整体统计信息。在差分图像R上使用基于马氏距离的GRX检测器，可以在小恢复误差像元分布下，展现大恢复误差像元的异常特征，进一步突出异常目标。结果相对稳健。采用GRX检测器对异常目标进行检测，最终的检测结果为：

其中  和  是矩阵R的均值和协方差矩阵， 是第i个像元的异常概率值。因此，最终的检测图可以表示为。

论文提出的FTSGAN高光谱异常检测算法：