【论文阅读】JSSI

Joint Shared-and-Specific Information for Deep Multi-View Clustering

摘要

多视图数据描述了具有不同特征模态的图像样本，从而为数据提供了更全面的描述。它的三个基本特征，即共识、互补和冗余，决定了它在计算机视觉任务中的性能。在本文中，我们有效地利用上述三个特征，提出了一种具有联合共享和特定信息 (JSSI) 的深度学习方案进行多视图聚类。为了促进共识，JSSI 通过对抗性相似性约束提取多视图数据的共享信息，该约束是通过分类和判别交互实现的。为了减少冗余，JSSI 分离出特定于视图的特征，并通过差异约束防止它们干扰共享特征。为确保互补性，JSSI 对齐共享特征，然后将它们与特定特征连接起来。

网络框图

本文创新点：

1.提出了一种对抗性相似性约束来提取多视图数据的共享信息

2.提出了一个共享和特定的空间差异约束来提取多视图数据的具体信息。全连接网络通过计算它们在欧几里得空间上的差异，将特定信息与共享特征分开。这个过程确保了多视图数据的补充。

3.提出了一种基于联合共享和特定信息的深度多视图聚类方法。在训练期间，每个共享和特定对都被重新统一并于原始信息进行比较，网络通过最小化它们之间的差异来学习。经过训练的共享和特定信息用于确保共识和互补性并避免信息污染。

相关工作

模型约束

JSSI的目标函数由三部分组成：（对抗性相似性约束）、（共享和特定的空间差异约束）、（重建相似性约束）。

1.对抗性相似约束：多视图聚类的共识是通过提取有效的共享特征来实现的。为了确保它的可靠性，提出了一个对抗性相似性约束，其设计由辅助分类器(ACGAN)组成。鉴别器采用两种策略。首先，它将特征分类到视图，并考虑那些无法准确分类为共享特征的特征。其次，它评估这些共享特征的真实性，以消除分类器被琐碎解决方案欺骗的可能性。与上述两种策略相对应，每个生成的特征都有两个标签：一个源标签（real或fake），用于判断该特征是否是真实的多视图数据，以及一个视图标签v，表示该特征的分类视图。在训练期间，多视图数据和生成的特征分别用作真假样本。其中，生成器表示为：

鉴别器D给出了特征的源概率分布和视图概率分布。在该模型中，优化过程表示为：

其中：

通过迭代训练，生成器提取判别器无法正确分类的特征。这些特征被认为是共享特征。

2.共享和特定空间差异约束：

多视图聚类的互补是通过提取有效的特定特征来实现的。在这里设计了一个共享和特定空间差异约束，通过减少与共享特征的相似性来分离特定特征。该约束还减少了共享信息和特定特征的重复信息，从而解决了多视图数据的冗余问题。

通过训练该约束被最大化，以强制共享和特定特征的分离。

3.重建相似约束：

其中：

 对齐部分

本论文采用了主成分分析（PCA）对进行变换以进行信息对齐。计算的平均向量和协方差矩阵，记该协方差矩阵的最大的特征值对应的特征向量为，并将其作为主投影方向，并计算的主成分：

所有的形成了向量 并将其表示为，作为不同视图的共享信息。

然后将来自所有视图的共享信息和特定信息连接起来，以表示样本：