高光谱图像聚类的像素-超像素对比学习与伪标签校正

Pixel-Superpixel Contrastive Learning and Pseudo-Label Correction for Hyperspectral Image Clustering

摘要

本文提出了一种新的高光谱图像（HSI）聚类方法，名为像素-超像素对比学习与伪标签校正（PSCPC）。该方法结合了像素级和超像素级的对比学习，通过超像素捕获领域特定的细粒度特征，并在超像素内部对少量像素进行比较学习。PSCPC通过一个伪标签校正模块来对齐像素级和超像素级的聚类伪标签，使用像素级聚类结果来指导超像素级聚类，从而提高模型的泛化能力。

引言

硬件成像技术的快速发展，特别是高光谱遥感技术，它使用纳米级成像光谱仪对地面物体进行多波段的同时成像。HSI包含了丰富的空间、辐射和光谱信息，使得图像分析和处理领域中的地面物体分类成为一个重要的研究方向。由于在实际应用中获取大量标记训练样本是困难的，因此无监督分类或聚类方法得到了广泛应用。传统聚类算法在高维数据聚类任务中存在局限性，深度学习结合传统聚类算法的深度聚类算法能够更好地利用HSI的光谱和空间信息。

• 文章的主要贡献

提出了一种新颖的HSI聚类方法PSCPC，它同时关注硬正样本和硬负样本对。
设计了一个综合的相似性度量标准，考虑了属性和结构信息，以更好地揭示样本之间的关系。
在高置信度聚类信息的指导下，提出了一种样本权重调节策略，动态增加硬样本对的权重，同时减少容易样本的权重。
在六个数据集上的广泛实验结果证明了PSCPC方法的优越性和有效性。

相关方法

对比学习

物体具有某些一般特征，对比学习学习这样的特征，具有很强的可迁移性，在无标签数据的聚类中能够取得很好的效果。对比学习算法的核心思想是利用样本信息生成监督信号，通过不断缩短正样本之间的距离、推开负样本之间的距离来提取更好的模态特征。构建正负样本并提取特征后，需要设置损失函数来减小表示空间中正例对之间的距离。损失函数一般采用InfoNCE损失

方法

超像素对比学习

HSI研究的先验知识表明，高光谱数据包含丰富的局部空间结构信息和一定的同质性[17]，在超像素级别执行任务有助于节省资源并更好地聚合空间信息。超像素是图像分割的结果；每个超像素是一组具有相似属性的像素。尺度参数估计（ESP）方法[24]用于遥感数据的图像分割。
超像素的特征是编码器提取的像素特征图的平均值。

像素级对比学习

HSI聚类的本质是将相似的像素划分为更接近的簇。因此，改进像素级表示学习可以提高聚类精度，因为它鼓励空间上接近的像素具有相似的表示。为了获得平滑的特征和精细的分类，我们提出了一种像素级对比学习方法。由于超像素中的大部分像素属于同一类，为了节省计算资源，我们在每个超像素中随机选择m个像素与超像素特征H进行比较。

伪标签校正

与像素级聚类相比，由于超像素级任务的输入规模较大，聚类的精细度较低。此外，超像素级对比损失将除最接近的k个样本之外的所有样本视为负样本，这可能会分离相似的样本并破坏聚类结构。为了提高聚类模型的鲁棒性，我们提出了伪标签校正模块。具体来说，每个超像素有两个标签。首先，直接使用k均值聚类算法来获得每个超像素的预测标签。其次，对于超像素中的M个像素，根据聚类结果计算该超像素的伪标签ˆy，即各类像素所占的比例。为了避免预测结果过于绝对，这里的预测标签和伪标签都是软标签。伪标签校正模块的目的是保证两种方法得到的结果一致。