论文阅读 | COMPLETER:Incomplete Multi-view Clustering via Contrastive Prediction

文章介绍

2021年CVPR 的文章，出自川大彭玺团队
附上源码：2021-CVPR-Completer

文章创新点

• Weprovide a novel insight to the community, i.e., the data recovery and consistency learning of incomplete multi-view clustering are with intrinsic connections, which could be elegantly unified into the framework of information theory. Such a theoretical view is remarkably different from existing works which treat consistency learning and data recovery as two separate problems.(将不完全多视图聚类当中的 数据恢复和信息一致性学习巧妙地结合到了一块)
• The proposed COMPLETER method is with a novel loss function which achieves the information consistency and data restorability using a contrastive loss and a dual prediction loss. Extensive experiments verify the effectiveness of the proposed loss function.（用了一个对比总损失和预测损失 实现了不完全多视图聚类当中的信息一致性和数据恢复能力）

文章主要框架

主要分三个模块：视图的重构模块（Reconstruction）、双向预测模块(Dual Prediction)、对比学习模块(Contrastive Learning)。跨视图的一致性（Cross View Consistency）是通过对比学习模块去实现的，数据的恢复(Data Revovery)是通过双向预测去实现的。

主要的损失函数

1、总损失函数:

2、重构损失

3、对比学习损失

4、双向预测损失

实验结果

missing rate 设置一下，可以分为不完全视图和完全视图。分别在4个数据集上实验，ACC、NMI、ARI三个参考指标。该方法取得了较好的实验结果。

聚类可视化

1、用Noisy MNIST 数据集，在不同的epoch下得到的一个聚类可视化效果如下:

2、在Caltech101-20 数据集下，总损失函数的变化曲线以及ACC、NMI、ARI的变化曲线(随着epoch的增大)

总结

1、理论框架： COMPLETER 提出了一个新颖的理论框架，将一致性特征表示学习和跨视图数据恢复统一起来。该框架表明，数据恢复和一致性学习是相互促进的。

损失函数： COMPLETER 设计了一个包含三个联合学习目标的损失函数：

• 视图内重建损失： 学习视图特定的特征表示，避免平凡解（ avoid the trivial solution）。
• 跨视图对比学习损失： 通过最大化不同视图之间的互信息来学习跨视图一致性。(Informatiion Consistency)
• 跨视图双重预测损失： 通过最小化不同视图之间的条件熵来恢复缺失的视图（Data recovery）。

2、实验结果： 在四个具有挑战性的数据集上进行的实验结果表明，COMPLETER 在不完整多视图聚类方面显著优于 10 个竞争方法。

最后，可以参考一下这位大佬的博客Blog，写得很详细。