Adversarial Complementary Learning forMultisource Remote Sensing Classiffcation论文学习

        摘要——卷积神经网络在多模式协作领域越来越受到关注。近年来，基于CNN的方法在多源遥感数据分类中取得了显著的效果。然而，它在互补提取方面仍然面临挑战。在本文中，对抗性互补学习（ACL）策略被嵌入到称为ACL-NN的CNN模型中，用于提取多源数据的互补信息。所提出的ACL-NN能够通过进行对抗性的最大-最小博弈，从多源数据中过滤出常见模式和特定模式。特别是，与模态无关的常见模式构成了土地覆盖的基本表示，而特定模式与提供补充表示的常见模式线性无关。因此，互补信息被映射到紧凑的和有区别的表示。为了消除奇异噪声，设计了一个可学习模式采样模块（PSM）来提取特定模式之间的互斥关系。在三个数据集上进行的大量实验表明，与几种分类技术相比，所提出的ACL-NN具有优越性。

        最近地球观测的成功归功于遥感的发展。遥感数据显示出空间、光谱和偏振特性，这取决于所用传感器的类型和测量的辐射[1]。其中，高光谱图像（HSI）值得特别关注，并提供了从可见光谱到红外光谱的高度相关信息，这促进了令人满意的分类结果[2]。然而，空间分量的分辨率受到信噪比要求的限制。幸运的是，多源遥感使全方位观测成为可能[3]，[4]。合成孔径雷达（SAR）是一种高分辨率的相干成像雷达系统，具有全天候和全时观测的能力[5]。此外，多光谱图像（MSIs）和光探测与测距（LiDAR）分别具有表示形态和高程信息的优势，这与HSI是互补的。因此，如何将多源遥感数据完全融合成为一个关键问题。

        集成多源信息的一种常见方法是数据融合。数据融合融合了不同数据源的优势，以重建更高质量的图像[6]。在[7]中，将输入图像解混合为纯反射率和相关的混合系数，从而实现了数据融合。Akhtar等人[8]提出了HSI超分辨率的非参数贝叶斯稀疏表示。Zhang和Prasad[9]提出了一种用于数据融合的鲁棒公式，其中稀疏系数受到自适应局部权重的约束。董等人[10]基于空间-光谱稀疏先验，通过高光谱字典和稀疏码联合估计高分辨率HSI。在[11]中，通过耦合稀疏张量分解将HSI和MSI融合。之后，开发了基于子空间的低张量多组正则化用于数据融合[12]。在[13]中，HSI和MSI通过深度卷积神经网络（CNN）融合，该网络结合了学习的深度先验。然而，数据融合更适合于提高均质传感器的数据质量，如HSI/MSI、MSI/全色图像等，其对异构数据的适用性差，容易导致信息丢失。

        由于特征工程在图像解释中的成功[14]，[15]，研究人员已经通过特征融合进行了大量的协同分类实验。对于特征融合，将不同数据源的特征联合转换到高维空间中，然后设计分类器进行土地覆盖识别。支持向量机（SVM）和极限学习机（ELM）在土地覆盖分类中以其高效性而著称。在[16]中，通过SVM对HSI和激光雷达数据中投影的多源特征进行了联合分类。最近，消光剖面（EP）已被广泛用于表示空间特征，这试图有助于遥感数据分类[17]，[18]。在[19]中，通过稀疏和低秩分量分析将基于EP的空间特征和光谱特征合并。在[20]中，采用EP从HSI和LiDAR中提取空间和高程信息，然后通过正交总变分分析将特征合并到较低维空间中。为了强调异构特征的相关性，多核学习（MKL）自然地在多个基核之间建立线性组合来学习最优基核。在[21]中，通过核对齐（KA）选择次优核，然后进行MKL来探索空间-光谱和高程属性的最佳组合。张等人[22]将主动学习（al）和MKL相结合，命名为集合MKL-al，以从HSI和激光雷达数据中识别额外的信息性和代表性样本。此外，一些最值得注意的方法也取得了很好的性能，如基于图的方法[23]、随机森林[24]、流形对齐[25]和分割[26]。然而，上述方法的成功采用取决于广泛的领域专业知识和先验知识，这既耗时又费力。

        自从Krizhevsky等人[27]采用CNN进行图像识别以来，不同的基于CNN的扩展在检测、分割和自然语言处理方面取得了优异的性能[28]，[29]，[30]，[31]。最近，基于CNN的方法在多源图像分类方面进行了大量尝试，也取得了很有希望的结果[32]，[33]。例如，Ghamisi等人[34]利用CNN对叠加的EP和光谱特征进行分类。后来，Chen等人[35]提出了一种端到端的CNN，其中通过完全连接（FC）层融合从多光谱/高光谱和激光雷达数据中提取的特征。在[36]中，特征提取器是专门为不同的数据源设计的。在[37]中，将细胞神经网络耦合以相互学习，然后分别对特征融合和决策融合进行最大化和加权求和策略。近年来，一些特征交互方法已广泛应用于协同分类中。在[38]中，不同卷积层的潜在表示相互作用，形成联合表示。在[39]中，离开感知CNN被设计为集成多源特征。Gao等人[40]设计了一个深度交叉注意力模块（CAM）来强调相关性。李等人[41]构建了一个基于图的网络，其中利用转换图来增强HSI和MSI的关联。在[42]中，开发了一种多尺度交互式融合网络来融合多尺度信息。考虑到多源遥感数据的信息异质性和不平衡性，提出了非对称特征融合方案。在[43]中，独立批量归一化（BN）层的参数用于控制特征传播。在[44]中，非对称融合是通过移位特征融合和特征选择实现的。张等人[45]开发了一种基于结构优化传递的融合分类方案。李等人[46]设计了一个用于HSI和激光雷达数据分类的三重半监督深度网络。

        尽管上述基于CNN的方法已经取得了很好的性能，但它们仍然存在以下问题。首先，冗余特征信息——如图1（a）所示，传统方法难以过滤出不同的特征模式，这不可避免地导致信息冗余[25]，[47]。因此，迫切需要通过挖掘常见和特定的模式来构建互补特征，如图所示。第1（b）段。第二，干扰奇异噪声——如图1（b）所示，常见模式和特定模式分别表示土地覆盖的基本表示和辅助表示。事实上，补充表示受到干扰奇异性噪声（冗余频谱和斑点噪声）的影响，这削弱了不同模式叠加的互补性以及分类性能。因此，有必要探究特定模式之间的互斥关系。

        为了解决上述问题，提出了一种基于对抗性互补学习的CNN（ACL-CNN）来对多源图像进行协同分类。首先，采用具有相同结构的四组编码器进行特征嵌入，其中使用具有共享权重的两组编码器作为公共编码器来提取公共模式。此外，具有独立参数的另外两组编码器是用于提取特定模式的特定编码器。在区分阶段，最大-最小对抗策略驱动模型准确区分模态标签，而特定模式与常见模式相关。在生成阶段，常见模式与情态无关，而特定模式是常见模式的线性独立性。为了在分类任务中探索特定模式的有意义信息，从而最大限度地提高收益，设计了模式采样模块（PSM），对特定模式进行加权积分进行分类。使用三个多源数据集对不同配置进行了广泛的实验，以验证其有效性。结果表明，与其他相关分类方法相比，所提