Hyperspectral Unmixing论文泛读（二）

进阶论文中标！的论文

WU-NET: A WEAKLY-SUPERVISED UNMIXING NETWORK FOR REMOTELY SENSED HYPERSPECTRAL IMAGERY

论文

近年来，人们在提高线性或非线性混合模型的高光谱解混合性能方面做了大量的努力，但它们处理光谱变异性和提取物理意义端元的能力仍然有限。基于深度学习强大的学习能力，我们提出了一种弱监督解混网络WU-Net来突破这一瓶颈。除了类似于自动编码器的体系结构之外，WU-Net从纯或近乎纯的端元学习额外的网络，以修正另一个分离网络的权值，使之朝着更准确、更可解释的分离解决方案发展，从而产生一个 双流深度网络。

光谱变异性(SV) 在HSI中是普遍存在的。一般来说，SV指的是由于光照和地形、大气条件以及材料的内在变异性的影响，在某种材料中光谱特征的各种变形。SV不可避免地将未预测的误差转移到LMM中，导致解混性能相对较差。

在实际应用中，由于盲HU中对真实端元缺乏有效的引导，这些方法往往会产生物理上无意义的端元。

动机：

为了解决上述限制，我们提出了一个弱监督分解网络，称为WU-Net。WU-Net以双流网络架构开始。人们学习从图像中提取的相对纯粹的端元与其相应的丰度之间的映射。另一种是类似自动编码器的网络，类似于之前提出的基于dl的解混方法。值得注意的是，我们迫使分离模块中的两个网络共享相同的权值，以便将端点成员潜在的内在属性转移到我们的网络系统中，从而产生一个更有物理意义的分离过程。此外，丰度非负约束(ANC)和丰度和对一约束(ASC)也通过附加层嵌入到网络中。

Dropout layer ：有效去除SV
ReLU activation function：满足abundance non-negative constraint(ANC)非负
Softmax layer ：满足abundance sum-to-one constraint (ASC) 丰度和为一

在本文中，我们提出了一种弱监督解混网络WU-Net，它是一种设计良好的用于高光谱解混的双流深度网络。与之前提出的类似自动编码器的模型不同，WU-Net还从纯或接近纯的端成员中学习端成员网络，并将其参数转移到基于自动编码器的解混网络中，从而产生更合理和更优的解混。值得注意的是，WU-Net在一定程度上受到端元提取的限制。在我们未来的工作中，我们希望在多模态数据(如多光谱数据[22,22])的帮助下，开发一个更通用的基于网络的框架，以更有效地解决这一问题。

上述论文是EGU-Net的一个子网络结构，在论文泛读（一）中
Endmember-Guided Unmixing Network (EGU-Net): A General Deep Learning Framework for Self-Supervised Hyperspectral Unmixing

Hyperspectral Unmixing Using a Neural Network Autoencoder

论文
ABSTRACT

本文提出了一种基于深度学习的神经网络自编码器形式的盲高光谱解混方法（盲分离，同时估计端元和丰度）。结果表明，线性混合模型隐式地对网络施加了一定的结构约束，有效地实现了高光谱盲解混。对浅编码器和深编码器的几种不同架构配置进行了评估。此外，深度编码器使用不同的激活功能进行测试。此外，我们研究了使用三个不同的目标函数的方法的性能。将该方法与其他基于真实数据和已建立的几种常用数据集的地面真值基准方法进行了比较。实验结果表明，该方法优于其他常用的高光谱分解方法，对噪声具有较强的鲁棒性。当使用光谱角距离作为网络的目标函数时，尤其如此。最后，结果表明，一个更深和更复杂的编码器不一定会给出更好的结果。

在本文中，我们将深度学习应用于具有深度编码器的自动编码器的HSU问题，其中丰度和一个约束(ASC)和非负丰度约束(ANC)都使用自定义层和权重约束执行。此外，该方法还利用了丰度向量的稀疏性，采用了一种自适应阈值形式，并根据网络的目标函数进行了优化。

本工作是对[29]工作的扩展，[29]研究了一种更简单的自动编码器体系结构的性能，并且 没有使用光谱角距离(SAD) 目标函数。该方法与传统方法的一个重要区别是，除了估计端元谱的数量外，没有调谐参数，而且该方法框架的实现使得使用任意复杂度的自定义目标函数非常容易。该方法不估计一个HSI中的端成员的数量，因此 必须给出端成员的数量。

几乎所有基于深度学习的HSU方法都不进行盲分解，即同时估计端元光谱及其丰度。据作者所知，进行盲分解的深度学习方法只有[26-29]中的方法。该方法与上述方法的主要不同之处在于，它不仅具有深度编码器，而且能够使用自定义激活函数(而不是显式稀疏正则化)通过一层来利用丰度的稀疏性。因此，它没有为编码器和解码器使用绑定权值的对称架构。此外，我们对自动编码器的编码部分测试了许多不同的激活函数，并使用三个不同的目标函数，而大多数使用自动编码器分解的工作使用均方误差(MSE)目标函数。

自动编码器的示意图，显示编码器的最后两层和解码器(线性激活的输出层)。训练结束时，最后一层隐含层的激活为丰度分数，连接最后一层隐含层和输出层的网络权值为端元矩阵。

自编码器对HSI中的所有光谱进行训练，训练时间为若干个epoch。经过训练，可以提取出丰度图作为每个输入光谱的最后一层隐含层的激活，解码器的权值为端元。

Spectral-Spatial Hyperspectral Unmixing Using Multitask Learning

论文
相比较上一篇论文，主要区别就是，利用了空间信息。

ABSTRACT

高光谱分离是遥感领域的一项重要而富有挑战性的任务，当传感器的空间分辨率不足以分离具有光谱特征的物质时，高光谱分离就应运而生。与其他自然图像一样，高光谱图像具有高度相关的像素，利用这种空间信息是非常可取的。

提出了一种基于深度学习的盲高光谱分解方法。该方法通过多个并行自动编码器使用多任务学习来同时解混合像素邻域。该方法对图像的小块进行操作，而不是对单个像素进行操作，可以充分利用高光谱图像中的空间信息。该方法是同类中第一个直接利用高光谱图像空间结构来估计数据立方体中端元光谱特征的方法。

本文提出了一种新的基于自编码器的方法，试图直接利用HSI中相邻像素的空间信息。该方法使用一种受多任务学习(MTL)[2]，[3]启发的架构，一次直接解混合整个像素邻域。它由多个分解自动编码器分支组成，每个分支的任务是分解相邻区域中的单个像素，这些像素之间共享特征。即使任务是相同的，MTL仍然是有益的。MTL的主要好处如下:

• 更快的学习。相关任务在反向传播过程中增加了累计梯度，从而提高了对隐含层权值输入的有效学习率。有用的特性在网络的共享隐藏层形成更快。
• 降低过拟合风险。共享隐藏层可以大大降低过拟合的风险。已经证明过拟合共享参数的风险可以比过拟合特定任务参数[4]小N阶(N是任务的数量)。
• 提高稳定性
• 整合空间信息。通过在自动编码器之间共享第一隐藏层，每个自动编码器或任务都可以访问输入到网络的所有像素的所有特征。通过从HSI的邻居中选择这些像素，我们利用了HSI的空间相关性，也就是说，假设来自一个小邻居的所有像素都应该有相似的丰度。这加强了网络对像素间共享特征的学习，提高了多任务学习的有效性。

Contributions

• 该方法直接利用HSI中的空间信息，利用多个并行自编码器一次解混合整个patch。因此，主要的区别在于所提方法是光谱空间解混方法，而之前的方法是光谱解混方法。
• 该方法使用softmax函数来加强丰度和为一的约束。
• 与之前的方法相比，该方法更好地利用了批归一化和dropout。

本文介绍了一种新的基于自编码器的HSU方法，该方法使用多个自编码器并行进行多任务学习，并利用了HSI的空间相关性。

• 使方法在本质上具有空间性。
• 加快了算法的收敛速度。
• 导致更好的一致性。
• 降低估计端元和丰度图的方差。

NEURAL NETWORK HYPERSPECTRAL UNMIXING WITH SPECTRAL INFORMATION DIVERGENCE OBJECTIVE

论文

高光谱分解是一个具有挑战性的逆问题，涉及到确定每个像素中代表材料(端元)的分数丰度。在本文中，我们开发了一个神经网络自编码器，动态利用丰度的稀疏性，并强制丰度和约束(ASC)用于高光谱分离。与传统的均方误差(MSE)目标函数不同，我们使用光谱信息散度(SID)测度。实验使用真实的高光谱数据集进行，我们比较了使用MSE和SID获得的结果。定性检验表明，使用SID比使用MSE的结果明显更好。

MULTITASK LEARNING FOR SPATIAL-SPECTRAL HYPERSPECTRAL UNMIXING

也就是这篇论文Spectral-Spatial Hyperspectral Unmixing Using Multitask Learning的一篇小论文，方法一样。
本文介绍了一种新的基于自动编码器的HSU方法，该方法使用多个自动编码器并行进行，以受益于多任务学习和利用HSI中的空间相关性。该方法被称为MTAEU，初始化方法是通过对原始数据集进行k均值聚类，并从每个聚类中采样相等的像素来获得一个精简且更均衡的数据集

Stacked Nonnegative Sparse Autoencoders for Robust Hyperspectral Unmixing

论文

• 降噪自编码器，接受加噪的输入来进行训练
• 稀疏自编码器，对隐层的激活输出进行正则，同一时间只有部分隐层神经元是活跃的
• 栈式自编码器，级联多个自编码器，逐层提取抽象特征

自动编码器作为一种无监督学习工具，在许多领域得到了广泛的应用。在这篇文章中，我们提出了一种新的基于堆叠非负稀疏自编码器(NNSAEs)的鲁棒解混合算法，该算法适用于具有异常值和低信噪比的高光谱数据。提出的堆叠式自动编码器网络包含两个主要步骤。

在第一步中，使用一系列NNSAE来检测数据中的异常值。

在第二步中，执行一个最终的自动编码器进行分离，以实现端元签名和丰度分数。该方法利用了非负稀疏自编码的优点，能够很好地处理异常值和低信噪比的问题。在合成和真实高光谱数据上评价了该方法的有效性。与其他解混方法相比，该方法具有较好的性能。

由于网络所涉及的优化问题是非凸的，更糟糕的情况是异常值的存在，这会给求解带来很强的干扰。

在这封信中，我们介绍了一种新的方法，即SNSA网络的高光谱分解。通过利用离群点检测和神经网络训练，SNSA能够准确提取端元特征和精确估计丰度。利用模拟和真实高光谱数据进行的实验结果表明，所提出的SNSA具有很好的分离潜力。

NONNEGATIVE SPARSE AUTOENCODER FOR ROBUST ENDMEMBER EXTRACTION FROM REMOTELY SENSED HYPERSPECTRAL IMAGES

论文
本文提出了一种基于非负稀疏自编码的端元提取算法。所提出的方法基于两个主要步骤。

• 首先，采用带有局部离群因子和亲和传播的自动采样方法，智能地收集训练样本集。
• 然后，利用非负稀疏自编码器从选定的训练样本中提取一组端元签名。该方法利用了自动采样和非负稀疏自编码的优点，可以有效地解决离群值问题。通过仿真数据验证了该方法的有效性。在我们与其他先进的端元提取方法的比较中，提出的方法显示了非常有竞争力的性能。

2.1. Automatic Sampler via Local Outlier Factor (LOF) and Affinity Propagation (AP)
由于自编码所涉及的优化问题是非凸问题，它强烈依赖于训练集的质量。如果训练集不能很好地表示端元，那么它也不能有效地用于训练自编码网络。更糟糕的情况是异常值的存在，这会对重构结果造成干扰。为了保证输入到自动编码器的训练样本具有代表性，我们首先使用LOF来消除数据中的异常值。LOF是一种测量局部偏差[8]的异常检测方法，其目的是检测密度小于其邻域的样本。由于离群点一般远离单纯形核(因此停留在低密度区域)，我们可以使用LOF来检测离群点。在LOF去除离群值后，我们使用端元提取算法来识别初始端元集合。对于每个端元，根据一些谱相似度测量，选择具有k个样本的训练集Sj(第j端元)。本文采用欧几里得距离(ED) 作为谱相似性判据。

为了进一步提高训练集的代表性，我们使用AP的概念对得到的训练集进行优化。AP是一种基于每对数据点之间相似性的聚类算法，它确定一组样本来表示聚类。与大多数聚类算法不同，AP不需要预先确定聚类的数量[9]。AP根据初始集Sj的相似度将它们分成几个聚类。然后，将最大聚类视为训练集Sj。基于上述思路，本文提出的自动采样算法可以总结如下:

• 1.使用LOF检测数据中的异常值。
• 2.使用传统的端元提取算法提取一组初始端元。在本工作中，我们使用N-FINDR进行初始化。
• 3.对于每个端元，根据ED选择一个包含k个样本的训练集，得到第j个端元的初始集Sj。
• 4.然后利用AP得到优化后的训练集ˆSj

2.2. Endmember Extraction Based on Reconstruction via Non-negative Sparse Auto-encoder
基于无监督ANN的特征学习算法通常用于签名重建。然而，这些算法的一个主要缺点是计算成本高。为了降低这种代价，我们将非负性准则和稀疏准则结合到一个自动编码器模型[10]中。端元被认为是表征场景中特征材料的特殊特征，因此可以利用光谱特征高效地重建端元。

本文介绍了一种新的基于自动采样的非负稀疏自编码器(ASNSA)，用于遥感高光谱数据的端元提取。它结合了一个自动采样器来生成一组训练样本，和一个非负稀疏自动编码器来重建端元。我们利用模拟数据得到的实验结果表明，在存在非线性混合物和异常值的情况下，提出的ASNSA具有很好的端元提取潜力。未来的工作将集中在用真实的高光谱数据集对该方法进行更详尽的评价。

DEEP AUTO-ENCODER NETWORK FOR HYPERSPECTRAL IMAGE UNMIXING

论文

本文提出了一种深度自编码网络，用于低信噪比高光谱数据的分离。本文提出的深度自编码网络由两部分组成。
网络的第一部分采用堆叠式非负稀疏自编码来学习频谱特征，为网络生成良好的初始化。
网络的第二部分，针对端元特征和丰度分数，采用变分自编码器进行解混。通过一个合成数据集验证了该方法的有效性。在我们与其他先进的分离方法的比较中，所提出的方法显示出极具竞争力的性能。

目前存在的一些方法，针对于处理数据存在异常值和噪声破坏较大时，存在一定的局限性。

非负稀疏自编码器(Non-negative sparse auto-encoder, NNSAE)和去噪自编码器(denoising auto-encoder, DAE)作为自编码器的两种特殊情况，在高光谱解混的时候，具有高级的去噪和固有的自适应能力。但是，由于其强度是在抗噪方面，当出现异常值得时候，局限性很强。同时，离群值的存在可能会导致初始化的失败，所以会对解混结果产生很大的干扰。

基于上述考虑，本文提出了一种基于深度自编码器网络(DAEN)的高光谱解混算法，目的是解混高光谱解混过程中的异常值和低信噪比问题。
该网络包括两个部分

• 首先通过堆叠非负稀疏自编码器(NNSAE)来训练光谱模型，目的是为了学习光谱特征，以获得良好的网络初始化。
• 其次，采用变分自动编码器(VAE)对高光谱数据进行盲解混。

在本文中，我们提出了一种用于高光谱解混的深度自编码网络(DAEN)，它包括一个堆栈和多个隐藏层的非负稀疏自编码来初始化端元特征，以及一个执行解混的变分自编码来获得混合矩阵和丰度分数。利用自动编码器的优势，提出的DAEN可以处理异常值和低信噪比的问题。

DAEN: Deep Autoencoder Networks for Hyperspectral Unmixing

对上一篇论文DEEP AUTO-ENCODER NETWORK FOR HYPERSPECTRAL IMAGE UNMIXING的改进。

• 网络的第一部分采用堆叠自动编码器(stacked autoencoders, SAEs)来学习频谱特征，从而为解混过程生成良好的初始化。
• 网络的第二部分，采用变分自编码器(VAE)进行盲源分离，目的是同时获得端元签名和丰度分数。由于该方法能够将数据集与离群值和低信噪比进行分离，因此具有良好的鲁棒性。
• 此外，在估计丰度时，VAE的多重隐藏层保证了所需的约束(非负向和与一)。

DEEP SPECTRAL CONVOLUTION NETWORK FOR HYPERSPECTRAL UNMIXING

论文

本文提出了一种基于深度光谱卷积网络(DSCN)的高光谱分离技术。本文提出了三个重要的贡献。

• 首先，用光谱卷积代替全连通线性运算，以更深层次的网络结构从高光谱特征中提取局部光谱特征。
• 其次，我们提出了光谱归一化层来代替批量归一化，通过对滤波器的光谱响应进行归一化来提高滤波器的选择性。
• 第三，我们介绍了两种融合构型，利用从前一层计算的抽象表示生成理想丰度图。在实验中，我们使用两个真实的数据集来评估我们的方法与其他基线技术的性能。实验结果表明，该方法优于基于均方根误差(RMSE)的基线。

EndNet: Sparse AutoEncoder Network for Endmember Extraction and Hyperspectral Unmixing

论文

在本文中，我们提出了一种新的端元提取和高光谱解混方案，即所谓的EndNet，它是基于一个两阶段自动编码器网络。

通过引入额外的层和投影度量[即光谱角距离(SAD)而不是内积]，这个众所周知的结构得到了完全的增强和重组，以获得最佳的解决方案。此外，我们提出了一种新的损失函数，该函数由具有SAD相似度的Kullback-Leibler散度项和额外的惩罚项组成，以提高估计的稀疏性。这些修改使我们能够设置端成员的公共属性，如非线性和稀疏性的自动编码器网络。

最后，由于基于随机梯度的方法，该方法对大规模数据具有可扩展性，并且可以在图形处理单元上加速。

高光谱数据的分解分为两个主要步骤(注意，我们假设最优的端元数量是已知的)，即提取端元并量化每个像素上这些端元的丰度。这两个未知变量可以同时求解，也可以根据方法分别求解。

贡献:

在本文中，我们提出了一种新颖的两阶段神经网络自编码器和一种端到端学习方案，专门用于从高光谱数据中提取具有部分丰度的端元。

Hyperspectral Unmixing via Deep Convolutional Neural Networks

论文

本文提出了一种基于卷积神经网络(CNN)的端到端HU方法。该方法采用CNN体系结构，由两个阶段组成:第一阶段提取特征，第二阶段对提取的特征进行映射，获得丰度百分比。此外，本文还提出了一种基于像素的CNN和基于立方体的CNN，可以提高HU的准确性。更重要的是，我们还使用dropout来避免过拟合。

神经网络结构分为两个阶段:第一阶段提取输入向量的特征，第二阶段对提取的特征空间进行映射，获取丰度。但该方法没有考虑空间信息和光谱信息的联合信息，特征提取和分解必须分别进行训练。

本文我们提出了一个基于像素的CNN用于HSI分解。为了在分解过程中结合图像特征之间的空间相关性，我们提出了基于立方体的CNN用于光谱-空间HU。利用三维CNN模型提取光谱空间特征，最后一层采用MLP结构获取像素的丰度。

LOOK FOR SALIENCY IN HYPERSPECTRAL IMAGES

本文提出了一种针对高光谱图像的高纯度显著性检测方法。首先，构造了一种自编码解混模型，提取了各像素的丰度信息;利用基于编码器的丰度估计，利用丰度向量范数设计了一个感知纯度的显著性指数。