论文阅读：completer通过对比预测的不完全多视图聚类

论文地址COMPLETER: Incomplete Multi-view Clustering via Contrastive Prediction

---

摘要：

本文研究了不完全多视图聚类分析中的两个具有挑战性的问题，即如何在不借助标签的情况下学习不同视图之间的信息一致的表示和如何从数据中恢复缺失的视图。为此，我们提出了一个新的目标，即从信息论的角度将表示学习和数据恢复整合到一个统一的框架中。具体而言，通过对比学习最大化不同视图之间的相互信息，获得信息丰富的一致表示，通过对偶预测最小化不同视图的条件熵，恢复缺失的视图。据我们所知，这可能是第一个提供统一一致表示学习和跨视图数据恢复的理论框架的工作。大量的实验结果表明，该方法在4个具有挑战性的数据集上显著优于10种竞争多视图聚类方法。、

对偶预测最小化不同视图的条件熵是一种信息论中的概念。它用于衡量在给定不同视图的情况下，通过对偶预测来减少数据的不确定性。

在信息论中，条件熵是指随机变量X在给定另一个随机变量Y的条件下的不确定性。条件熵H(X|Y)表示在已知Y的取值情况下，X的不确定性。对偶预测可以用来学习不同视图之间的关系，从而减少由于缺失某些视图而产生的不确定性。

具体地说，对于不同视图V_i (i=1,2,...,n)，我们可以计算每个视图的条件熵H(X|V_i)，表示给定视图V_i的情况下X的不确定性。然后，通过对偶预测，我们可以找到一个最优的组合权重，使得对于所有的视图V_i，联合视图V_i和对应的对偶预测结果能够最小化条件熵的总和，即ΣH(X|V_i)最小。

通过最小化不同视图的条件熵，对偶预测可以帮助我们从多个视图中获得更全面、准确的信息，以更好地理解和处理数据。这对于许多领域的问题，如数据挖掘、机器学习和信息检索等都具有重要的应用价值。

介绍

在现实世界中，从不同的传感器收集或从不同的特征提取器获得的多视图数据往往表现出异构特性。作为最重要的无监督多视图方法之一，多视图聚类(MVC)旨在以无监督的方式将数据点分离到不同的聚类中[11,17,20,29,40,54]。要实现这一目标，关键是探索不同视图之间的一致性，以便学习到共同/共享的表示[5,12,14,21,33,47]。在一致性学习的背后，隐含的假设是视图是完整的，即所有的数据点都会出现在所有可能的视图中。

但在实际应用中，由于数据采集和传输的复杂性，可能会丢失一些数据点的视图，从而导致所谓的不完全多视图问题（IMP）

例如，在在线会议中，由于传感器故障，一些视频帧可能会失去视觉或音频信号。为了解决IMP问题，已经提出了一些不完全多视图聚类算法(IMC)，通过使用多种数据恢复方法来完成缺失的数据，例如基于矩阵分解的方法[10,22,35,46,53]和基于生成对抗网络的方法[16,41,45]。这些作品试图克服以下两个挑战:

i)如何在不同的观点中学习信息丰富和一致的表征?

ii)如何消除遗漏的影响

虽然已经取得了一些可喜的成果，但现有的工作几乎都将这两个挑战视为两个独立的问题，缺乏统一的理论认识

 

由此可见，在上述统一信息论框架下，跨视图一致性和数据恢复被视为一枚硬币的两面。

即要使得I最大，视图1 (X1)和视图2 (X2)中包含的信息中共享信息最大化，H最小，丢弃跨视图不一致的信息

在数学中，互信息I(z1, z2)(灰色区域)量化了z1和z2共享的信息量，其中z1和z2分别是X1和X2的表示。为了学习一致的表示，鼓励最大化I(z1, z2)。此外，最小化条件熵H(Z i |Z j)(蓝色区域)将鼓励缺失视图的恢复，因为Z i完全由Z j决定当且仅当条件熵H(Z i |Z j) = 0，其中i = 1, j = 2或i = 2, j = 1。微妙的是，一方面，最大化I(z1, z2)可以增加共享信息的数量，从而有利于数据的可恢复性，即更容易从另一个视图中恢复一个视图。另一方面，由于H(Z i |Z j)量化了以Z j为条件的Z i的信息量，因此H(Z i |Z j)的最小化将鼓励丢弃跨视图不一致的信息，从而进一步提高一致性。

与现有的IMC研究不同，我们从理论上表明，跨视图一致性学习和数据恢复可以被视为一枚硬币的两面，这两个具有挑战性的任务可以相互促进。我们的动机来源于[38]，如图1所示。需要指出的是，[38]利用预测学习来增强对比学习的性能，而我们的目的是通过双重预测来恢复缺失的数据。此外，我们的另一个不同之处在于我们的理论结果，即通过对比学习和双重预测，数据恢复和一致性学习可以相互促进。 

基于我们的观察和理论结果，我们提出了一种新的不完全多视图聚类方法，称为不完全多视图聚类通过对比预测(COMPLETER)。COMPLETER将给定的数据集投影到特征空间中，其中使用三个联合学习目标来保证信息一致性和数据可恢复性。更具体地说，使用视图内重建损失来学习特定于视图的表示，从而避免了琐碎的解决方案。在潜在特征空间中，引入对比损失通过最大化互信息I(z1, z2)来学习跨视图一致性，并使用对偶预测损失通过最小化条件熵H(z1 | z2)和H(z2 | z1)来恢复缺失视图。需要指出的是，本文所提到的数据恢复是面向任务的，即只恢复共享的而不是全部的信息，以方便MVC等下游任务。总结：

• 我们提供了一个新的视角，即不完全多视图聚类的数据恢复和一致性学习具有内在的联系，可以优雅地统一到信息论的框架中。这种理论观点与现有的将一致性学习和数据恢复视为两个独立问题的理论观点有很大的不同

• 该方法采用了一种新的损失函数，利用对比损失和双预测损失实现了信息一致性和数据可恢复性。大量的实验验证了所提出的损失函数的有效性。

相关工作

在本节中，我们简要回顾了两个相关主题的最新进展，即不完全多视图聚类和对比学习 

不完全多视图聚类（IMC）

根据多视图信息的利用方式，现有的大多数IMC方法大致可分为三类，即基于矩阵分解(MF)的IMC[10,22,35,53]、基于谱聚类的IMC[39]和基于核学习的IMC[26]。简而言之，基于MF的方法利用低秩性将不完整数据投影到公共子空间中。例如，DAIMC[10]利用1,2范数建立共识基矩阵，IMG[53]利用F -范数减少缺失数据的影响。作为一种典型的基于谱聚类的方法，PIC[39]使用由不完全视图构建的一致拉普拉斯图来学习公共表示。EERIMVC[26]提出采用多核方法以迭代优化的方式实现IMC。

聚类是一种无监督学习方法，用于将相似的数据样本归为一类。聚类算法通过计算数据点之间的相似度或距离，并根据相似度或距离将数据点分组到不同的簇或类别中。

常见的聚类算法包括K-means聚类算法、层次聚类算法和DBSCAN聚类算法等。

K-means聚类算法是最常用的聚类算法之一。它的基本思想是选择一些初始的聚类中心，然后将每个样本分配给离其最近的聚类中心，然后更新聚类中心的位置，重复这个过程直到聚类中心不再变化或达到预定的迭代次数。K-means算法要求先指定聚类的簇数K。

层次聚类算法是一种自底向上的聚类方法，它通过计算样本之间的距离或相似度，逐步合并相邻的样本，形成一个层次化的聚类结果。层次聚类算法有凝聚型（自下而上）和分裂型（自上而下）两种方法。

DBSCAN（Density-Based Spatial Clustering of Applications with Noise）是一种基于密度的聚类算法。它通过确定样本的密度来区分簇和噪声点，并可以发现任意形状的聚类簇。

聚类算法在许多领域都有广泛应用，如数据挖掘、模式识别、图像分割、推荐系统等。通过聚类分析，我们可以发现数据中的隐藏模式、分析数据的结构、进行数据压缩和降维等任务。

需要注意的是，选择适合特定问题和数据集的聚类算法是很重要的，不同的算法对数据的分布和特征有不同的假设和适用性，因此在实际应用中需要根据具体情况进行选择和调整。

本研究与现有研究的差异如下。首先，我们的目标是推断缺失的数据，而不是缺失的相似度，从而具有更高的可解释性[26]。其次，我们的方法是深度模型而不是浅模型[10,19,22,26,35,39,53]，因此自然具有处理复杂和大规模数据集的能力。第三，几乎所有现有的IMC方法[10,16,22,26,35,39,41,53]都将数据恢复和一致性学习视为两个独立的问题/步骤，缺乏理论认识。相反，我们提出数据恢复和一致性学习可以统一到信息论的框架中[36]。数据恢复和一致性学习都有利于公共表示的学习。

对比学习

 作为最有效的无监督学习范式之一，对比学习[2,4,8,23,28,30,37,38]在表征学习中取得了最先进的表现。对比学习的基本思想是从原始数据中通过最大化正对之间的相似性而最小化负对之间的相似性来学习特征空间。近年来，一些研究表明，对比学习的成功可以归因于相互信息的最大化。例如，MoCo[9]和CPC[30]最小化了InfoNCE损失，可以认为是最大化互信息的下界，即I z1, z2 ≥log(N)−LNCE，其中N为负对的个数，z1和z2分别为多视图数据X1和X2的潜在表示。

对比学习是一种监督学习方法，其基本思想是通过对比不同样本对（positive pair）和相似但不同的样本对（negative pair），来学习一个映射函数（或称度量函数），将数据点映射到一个新的特征空间中。该映射函数可以帮助我们找到样本的潜在结构，识别相似的样本并区分不同的样本。

对比学习与传统的监督学习方法不同，它不需要标注每个样本的真实标签，而是以样本之间的关系作为训练信号。对比学习的训练目标是最大化正对之间的相似性，如同类样本，同时最小化负对之间的相似性，如不同类的相似样本。这种学习方式不仅可以使得不同类别之间的距离远离，同时也可以使得同一类别内的样本之间距离更近，提高分类的准确性。

对比学习所学习的映射函数通常是一个参数化的模型，如线性模型、神经网络、支持向量机等。其中，最常用的对比学习算法是孪生网络（Siamese Network）。孪生网络由两个相同的神经网络组成，共享同样的权重参数，并输入两个不同的数据样本经过神经网络后得到特征向量，之后通过一些相似度度量方法，计算两个特征向量之间的相似性得分。

对比学习在人脸识别、目标跟踪、推荐系统等领域都有广泛应用，可以学习到具有良好鲁棒性和泛化能力的特征表示。

映射可以发现不同数据之间的关系，原因在于向量映射方法基于的假设：相似的样本在新的空间中仍然是相似的，而不同的样本则会被更好地分离开来。通过将输入数据映射到新的空间中，我们可以更容易地发现这种结构并进行分类或聚类等任务。

有时候，原始的输入空间可能过于复杂难以处理，或者存在多余的信息，使得无法有效地进行分类或聚类等任务。通过映射到新的空间，可以剔除噪声和冗余信息，从而简化数据的表达，提高模型的准确性和鲁棒性。

同时，向量映射方法的选择是由具体任务和数据本身的性质所决定的。例如，PCA假设数据沿着方差最大的方向分布，t-SNE假设数据在低维空间中紧密地聚在一起，对比学习假设相似点之间的距离小于不相似点之间的距离。根据不同的任务需求，选择合适的映射方法应该能够更好地突出数据的特征，减少信息噪声和冗余信息，从而能更好地完成各种机器学习任务。

综上所述，向量映射可以发现不同数据之间的关系，是因为基于正确的假设、去除了多余信息和噪声等优点。

本研究与现有对比学习研究的不同之处如下。首先，大多数现有的对比学习方法[2,8,9,28]旨在处理单视图数据和详尽地探索各种数据增强，以构建不同的视图/增强。相比之下，我们的方法旨在从给定的多视图数据集中学习一致性。据我们所知，这可能是最早的关于多视角对比学习的研究之一。其次，我们的方法是专门为处理缺失数据而设计的，而现有的对比学习工作忽略了这个实际问题。第三，虽然现有的对比学习研究表明，一致性可以通过最大化不同增强的互信息来学习，但它们忽略了不一致性的学习。在统一的信息论框架下，我们证明了不一致学习可以用条件熵来定义，并且可以通过最小化不一致来恢复丢失的数据。

方法

在本节中，我们提出了一种深度多视图聚类方法，称为通过对比预测的不完整多视图聚类(COMPLETER)【inCOMPlete muLti-view clustEring via conTrastivE pRediction (COMPLETER) 】，用于学习一组不完整多视图样本的表示。如图2所示，COMPLETER由三个联合学习目标组成，即视图内重建、跨视图对比学习和跨视图对偶预测。为了清楚起见，我们将首先介绍所提出的损失函数，然后详细说明每个目标

目标函数

在不失一般性的前提下，我们以双视图数据为例。给定一个n个实例的数据集X¯= {X¯1,2,X¯1,X¯2}，其中X¯1,2,X¯1和X¯2分别表示两个视图中呈现的示例、第一个视图、第二个视图。设m为X¯1,2的数据大小，Xv是X¯1,2的第v个视图，那么¯X1,2 = {X1, X2}。

目标函数

其中Lcl、Lpre和Lrec分别为跨视图对比损失、双预测损失和视图内重建损失。参数λ1和λ2分别为Lpre和Lrec的平衡因子。在我们的实验中，我们简单地将这两个参数固定为0.1

跨视图对比损失（Cross-View Contrastive Loss）、双预测损失（BiGAN Loss）和视图内重建损失（View Reconstruction Loss）是在多视图学习中常用的损失函数。

1. 跨视图对比损失：跨视图对比损失是为了学习不同视图（或模态）之间的关系而设计的。它通过将来自不同视图的样本进行比较，鼓励将来自同一样本的视图嵌入向量更加接近，而将来自不同样本的视图嵌入向量更加分散。这有助于学习到视图间的共享特征，并促进视图间的一致性。

2. 双预测损失：双预测损失是一种生成对抗网络（GAN）中常见的损失函数。它由两部分组成：编码器和解码器。编码器将输入样本映射到一个低维的隐藏表示，而解码器则将隐藏表示还原为输入样本。双预测损失通过鼓励生成样本与真实样本的相似性，同时让隐藏表示能够被解码器逆向还原为原始输入样本，以促进模型学习到数据的潜在表示和生成能力。

3. 视图内重建损失：视图内重建损失是一种自编码器中常用的损失函数。自编码器是一种可以将输入样本进行编码和解码的神经网络结构。视图内重建损失通过比较重建的样本与原始输入样本之间的差异，来衡量模型学习到的特征表示能否完整地保留原始数据的信息。它鼓励模型在编码阶段学习到有用的特征表示，并在解码阶段尽可能准确地还原原始输入。

这三种损失函数在多视图学习和表示学习任务中起到了重要作用。它们通过不同的机制和目标，帮助模型学习到视图间的关系、数据的潜在表示和重建能力，进而提高模型的性能和泛化能力。

 视图内重建损失：

对于每个视图，我们通过自动编码器通过最小化L_rec来学习潜在表示zv

其中Xv t表示Xv的第t个样本。F (v)和g (v)分别表示第v个视图的编码器和解码器。因此，第v个视图中第t个样本的表示为

式中zv表示Xv和v∈{1,2}的表示。

应该指出的是，自编码器结构有助于避免琐碎的解决方案。

跨视图对比学习  信息的一致性表示

在Lrec参数化的潜在空间中，我们进行对比学习，学习不同视图共享的共同表征。与大多数现有的对比学习研究[9,30]不同，对比学习研究最大限度地提高了学习者之间的一致性

通过最大化互信息下界来学习表征z1和z2，我们直接最大化了不同视图表征之间的互信息。数学上,

其中I为互信息，H为信息熵，在实验中将参数α设为9来正则化熵。我们用以下目标来设计这个目标。一方面，从信息论来看，信息熵是指一个事件所传递的信息量的平均值[3]。因此，更大的熵H(zi)表示信息更丰富的表示zi。另一方面，H(z1)和H(z2)的最大化将避免将所有样本分配到同一集群的平凡解决方案

为了表述I(z1t, z2t)，我们首先定义变量Z和Z '的联合概率分布P(Z, Z ')。由于在编码器的最后一层叠加了一个softmax函数，所以z1和z2的每个元素都可以看作是一个过簇类概率，如[13,15,34]。换句话说，z1和z2可以理解为两个离散的簇分配变量Z和Z '在D个“类”上的分布，其中D是z1和z2的维数。因此，定义P(z, z ')为P∈RD×D

设Pd和P ' d分别表示边际概率分布P(z = d)和P(z ' = d ')，将联合概率分布矩阵P的第d行和第d列相加得到。考虑到z和z '同等重要，P进一步由(P + PT)/2计算。对于离散分布，Eq.(4)如下:

交叉视角双重预测（对偶预测 恢复视图）：

为了推断缺失的视图，我们提出了如图2所示的双重预测机制。具体来说，在由神经网络参数化的潜在空间中，视图特定表示将由另一个通过最小化熵H(Z i |Z j)来预测，其中i = 1, j = 2或i = 2, j = 1。

这种双重预测机制的理论解释如图1所示。简而言之，zi是完全的由Zj决定当且仅当条件熵H(Z i |Z j) =−EPZi,Zj [log P(Z i |Z j)] = 0。为了解决这个问题，一种常见的近似方法是引入变分分布Q(zi | Zj)并最大化EPZi,Zj log Q zi | Zj，即E的下界

这种变分分布Q可以是任意类型，如高斯分布[7]和拉普拉斯分布[55]。在实践中，我们简单地假设分布Q为高斯分布N Z i | G(j) Z j ， σI ，其中G(j)(·)可以是一个参数化模型，它将Z j映射到Z i， σI是方差矩阵。通过忽略从高斯分布导出的常数，最大化EPZi,Zj log Q Zi | Zj 等于

实现细节

如图2所示，COMPLETER由两个训练模块组成，即两个视图自编码器和两个跨视图预测网络。对于这两个模块，我们简单地采用了一个全连接的网络，每个层后面都有一个批处理规范化层和一个ReLU层。

在编码器和预测模块的最后一层使用softmax激活功能。在补充材料中，我们的模型的所有细节都已经给出了。

在训练阶段，我们使用完整数据X¯1,2以端到端方式训练COMPLETER。具体来说，我们在前100个epoch使用Lcl和Lrec来训练自编码器，以稳定对偶预测的训练。然后，我们用L训练整个网络400次。一旦网络收敛，我们将整个数据集馈送到网络中以获得所有视图的表示，包括失踪的那些。之后，将所有特定于视图的表示简单地连接在一起得到的共同表示进一步馈送到k-means中，得到像传统方式一样的聚类结果[1,10,22,25,26,32,39,42,43,48,49,53]

实验

在本节中，我们在四种广泛使用的多视图数据集上评估了提出的COMPLETER方法，并比较了10种多视图聚类方法。

实验设置

在我们的实验中使用了四个广泛使用的数据集。

简而言之，Caltech101-20[24]由20名受试者的2386张具有HOG和GIST特征视图的图像组成。

scene -15[6]由分布在15个场景类别中的4485张图像组成，具有PHOG和GIST特征。LandUse-21[50]由21个类别的2100张卫星图像组成，具有PHOG和LBP特征。噪声MNIST[42]使用原始的70k MNIST图像作为视图1，随机选择带有高斯白噪声的类内图像作为视图2。由于大多数基线无法处理如此大的数据集，我们只能使用由10k验证图像和10k测试组成的Noisy MNIST子集

为了评估处理不完整多视图数据的性能，我们通过随机删除一个视图，随机选择一些实例作为不完整数据。缺失率η定义为η = (n−m)/n，其中m为完整样本的个数，n为整个数据集的个数。

为了评估处理不完整多视图数据的性能，我们通过随机删除一个视图，随机选择一些实例作为不完整数据。缺失率η定义为η = (n−m)/n，其中m为完整样本的个数，n为整个数据集的个数。

与前沿水平的对比

我们在两种设置下测试所有方法，即缺失率η = 0.5(用Incomplete表示)和η = 0(用complete表示)

不同缺失率的性能

为了进一步验证该方法的有效性，我们在Caltech101-20上将缺失率η从0变化到0.9，间隙为0.1，进行了实验。当缺失率为0.9时，整个训练数据的大小小于一个数据批次的大小，因此我们将批次大小减小到128。从图3的结果中，可以观察到:i) COMPLETER显著优于所有

所有缺失率设置的测试基线;Ii)随着缺失率的增加，对比方法的性能下降幅度远大于我们的方法。

例如，当η = 0时，COMPLETER和PIC的NMI分别达到0.6806和0.6793，但随着缺失率的增加，COMPLETER明显优于PIC

参数分析和消融研究

消融研究（ablation study）是一种常见的实验方法，用于评估机器学习模型的不同部分或超参数对模型性能的影响。

在消融研究中，我们通常会将模型中的某些部分或超参数修改或移除，然后重新训练模型并比较其性能。通过这种方式，我们可以评估模型各个部分对模型性能的贡献，以及寻找最优的超参数组合。

例如，假设我们正在研究一个图像分类模型，并想要评估卷积神经网络中不同卷积层的贡献。我们可以将某些卷积层从模型中移除，然后重新训练模型并比较其性能指标，如准确率、召回率等。这样可以帮助我们确定哪些卷积层对模型性能影响最大。

类似地，我们还可以使用消融研究来评估其他超参数对机器学习模型的影响，如学习率、正则化参数等。通过系统地进行消融研究，可以帮助我们更好地理解模型的行为，并设计出更加高效和准确的模型。

需要注意的是，在进行消融研究时，我们应该遵循科学实验的原则，确保实验过程的可重复性和可比性。同时，也需要注意消融研究可能存在的局限性，如不能完全反映模型在各种现实场景下的表现等。因此，在进行消融研究时，我们应该结合实际问题和数据情况，综合考虑多种因素来评估模型的性能。

在本节中，我们将从参数敏感性分析和消融研究两个角度对Caltech101-20数据集上的COMPLETER进行分析。在评价中，缺失率η固定为0.5。

我们的方法包含三个用户指定的参数，即熵参数α，预测权衡参数λ1和重建权衡参数λ2。

在接下来的研究中，我们首先通过将λ1和λ2固定为0.1并改变α的值来研究α、表征的信息熵H(Z i)与聚类性能之间的关系。如图5所示，信息熵随α的增大而增大。具体来说，随着信息熵的增加(从左到右)，聚类性能(ACC、NMI和ARI)先提高后降低。原因可能是由于以下几个方面。

一方面，增加的熵(表示中包含的信息)会扩大互信息，从而进一步提高聚类性能。另一方面，随着α的增加，过度信息表示会抑制Eq.(4)中的互信息项，从而降低一致性。

为了评估λ1和λ2的影响，我们在{0.01,0.1,1,10,100}的范围内改变它们的值。如图4所示，我们的方法对λ1的选择具有鲁棒性。此外，选择合适的λ2将显著提高COMPLETER的性能。

理论结果的可视化验证

在本节中，我们通过实验来验证我们的理论结果，如图1所示。在有噪声的MNIST数据集上进行了实验，将恢复的视图和常见表示可视化。实验中，缺失率η固定为0.5。

与大多数现有的不完整多视图方法不同，COMPLETER可以显式地推断缺失视图的表示。因此，通过解码器可以在原始空间中得到相应的重构。为了显示COMPLETER的可恢复性，图6直观地展示了一些恢复的检查

图8。Caltech101-20上COMPLETER随epoch增加的聚类性能。x轴表示训练历元，左右y轴分别表示聚类性能和相应的损失值。

需要注意的是，本例中的语义信息和噪声背景可以看作是两种视图的一致性和不一致性。因此，上述观察结果的原因是双重的。一方面，由于互信息的最大化，恢复的视图将包含两个可用视图的共享信息(语义信息而不是噪声信息)。另一方面，为数据恢复设计的条件熵最小化可以巧妙地丢弃跨不同视图的不一致信息。因此，缺失视图中的噪声将在过程中被抑制

除了上面的可视化，我们还演示了学习到的常见表示的t-sne[27]可视化。如图7所示，随着epoch的增加，学习到的表征变得更加紧凑和具有判别性

结论

为了从给定的多视图数据中学习一些视图缺失的常见表示，本文提出了COMPLETER，它包含了严格的数学动机和信息论的解释。简而言之，我们将一致性学习和完成视为一枚硬币的两面，而不是两个独立的问题。

这样一个统一的框架将为社区理解一致性学习和数据恢复提供新的见解。在未来，我们计划进一步探索我们的理论框架在其他多视图学习任务中的潜力，例如，对象ReId。此外，它还有望扩展到处理图像翻译任务