论文阅读 | Incomplete Multi-view Clustering via Prototype-based Imputation

文章介绍

IJCAI 23年的文章，出自彭玺团队。
附上源码: IJCAI-23-ProImp

Major Contributions

• From the standpoint of data recovery for IMvC, we proposed a novel imputation method which restores the missing samples using the prototypes and the sample prototype relationship. Such a prototype-based imputation paradigm could preserve instance commonality and view versatility that are favorites to IMvC.(基于原型去恢复缺失数据)
• From the standpoint of unsupervised multi-view representation learning, we propose a novel dual-stream model which learns sample representation using prototypes and prototype representation using the input samples. Thanks to the dual-stream model, our method could learn better representation for boosting IMvC performance. （提出了一个双流模型——双注意力层和双对比学习）
• Extensive experiments on five benchmarks demonstrate the superiority of our method in both incomplete multiview clustering and data recovery performance, compared with 11 baselines. （实验性能好）

主要框架

（a) 是双注意力层 (b) 是ProImp模型大致模样和双对比学习模块 © 是基于原型对缺失数据进行恢复

双注意力层模块

这一模块的主要作用是得到注意力矩阵Av，去增强原型和样本表示，用于后续的对比学习模块。

双对比学习模块

分别进行了样本之间的对比学习和实例间的对比学习。

样本对比损失

原型对比损失

注意力正则化项

Overall Loss

基于原型的数据补全模块

讲人话可以理解成：对于一个实例，视图1没有缺失，视图2有缺失，利用视图1的样本特征，和视图2所对应的原型，去补全视图2该实例的数据。

实验性能

ProImp 均表现为最优 ！

下图是不同方法在不同缺失率下，分别在 Scene-15 该数据集上的聚类性能（最上面的红线为DSIMVC）。

t-SNE 聚类可视化效果

总结

为了实现所提出的基于原型的插补方法，作者提出了一个双流模型，通过设计一个双注意力层和双对比学习损失模块。由于所提出的模型，**实例的通用性和视图的多样性（instance commonality & view versatility）**可以得到很好的表示，从而提高IMvC的性能。大量的实验结果表明，该模型在聚类和数据恢复性能的优越性。