【论文阅读】深度多视图聚类的自监督判别特征学习

Self-Supervised Discriminative Feature Learning for Deep Multi-View Clustering

文章链接
聚类结构不明确的某些视图所带来的负面影响，导致多视图聚类性能较差，所以本文提出SDMVC。

深度编码器用来独立的学习每个视图；为了利用互补信息，将所有视图的嵌入特征串联起来形成全局特征，可以克服某些视图聚类结构不清晰的负面影响。以自监督的方式获得伪标签，建立统一的目标分布，进行多视图判别特征学习。

在此过程中，可以挖掘全局判别信息来监督所有视图，从而学习到更多的判别特征，进而用于更新目标分布。此外，这种统一的目标分布可以使SDMVC学习一致的聚类分配，在保持多视图特征多样性的同时，实现了多视图聚类的一致性

Fig. 1a 不同视图特征的判别程度不同（判别度越高的特征越有利于聚类）

Fig. 1b 特征拼接时，判别性高的聚类结构在划分全局特征空间中起主要作用，可以产生高置信度的伪标签，克服聚类结构不清晰带来的负面影响

Fig. 1c and 1d 伪标签可以引导所有视图学习更多的判别特征，从而产生更清晰的聚类结构和更准确的伪标签

自监督多视图判别特征学习

采用相应的自编码器通过优化重构损失Lv r来学习低维嵌入特征zv。

其中qv ij是第i个示例属于第v个视图中的第j个集群的概率(软集群分配)。软赋值衡量的是嵌入特征与聚类质心之间的相似度，因此聚类性能取决于嵌入特征的判别程度。

为了利用所有视图中的判别信息，将所有嵌入的特征连接起来以生成全局特征

对全局特征应用K-means计算聚类质心

研究结构清晰的观点(高判别观点)对结构不清晰的观点(低判别观点)的作用，上述式子改写如下。

这个式子可以使得全局特征zi在不同视图中被划分到同一个簇。

选择Student的t分布作为核函数度量全局特征zi与聚类质心cj之间的相似度。利用相似度生成伪软分配(伪标签)sij进行自监督学习。

为了提高伪软分配的可判别性，我们对其进行增强，得到统一的目标分布(记为P)

聚类损失：统一目标分布P与自身的聚类分配分布Qv之间的Kullback-Leibler散度(DKL)

每个视图的总损失：

通过执行所提出的特征学习，可以利用全局判别信息迭代地引导所有视图学习更多的判别特征，特别是对于那些具有低判别特征的视图。最终，提高了所有视图嵌入特征的可分辨性，从而获得更清晰的聚类结构。

最终聚类预测：

本文提出了一种新的自监督判别特征学习框架，用于深度多视图聚类(SDMVC)。与现有的MVC方法不同，SDMVC可以克服某些聚类结构不明确的视图对聚类性能的负面影响。它以自监督的方式，利用全局的判别信息建立统一的目标分布，用于学习更多的判别特征和多视图的一致预测。从理论上分析了该方法的泛化界。在不同类型的多视图数据集上的实验表明，该方法比目前最先进的多视图聚类方法具有更好的性能。此外，SDMVC具有与数据大小成线性关系的复杂性，因此其特征学习范式具有其他应用的潜力，例如半监督聚类和分类。值得注意的是，发现自编码器的无监督预训练的稳定性可能是基于自编码器的多视图聚类方法的瓶颈。