引用：Bai R, Huang R, Qin Y, et al. A structural consensus representation learning framework for multi-view clustering[J]. Knowledge-Based Systems, 2024, 283: 111132.
一、摘要
问题背景：学习结构的一致性表示对于各种多视图任务至关重要，如多视图聚类、多视图分类等。但是，多视图数据通常存在视图级别的偏差，导致的结构不一致性问题。
研究动机：为了解决这个问题，提出了一个结构一致性表示学习（SCRL）框架，它包含两个级联表示训练过程，以学习和修正结构一致性表示。
具体地，文章中开发了一个一致性联合多自动编码器，估计所有视图共享的一致性结构，并在独特的过程中学习每个视图表示，由一致性结构指导。利用EM期望最大化，对视图表示和结构一致性迭代地进行优化。然后，设计了一个混合对比修正网络，它包含两个对比修正组件，通过进一步消除同一视图内和不同视图之间的不一致性视图表示来微调学习到的表示。所提出的SCRL框架能够去除视图表示学习的偏差，并为多视图聚类提供结构一致性表示。
实验验证：在多个真实数据集上的大量实验和分析表明了我们提出的SCRL框架的有效性。
二、引言
聚类分析是许多领域的核心任务，如模式识别、计算机视觉和数据挖掘。对于这项任务，已经进行了许多研究工作，其中多视图聚类尤为引人关注。在实际应用中通常具有多个视图的数据样本，提供了来自不同视图的信息。例如，新闻文章既可以用传统内容视图的特征来表达，也可以用一组传播行为特征来表示，如新闻文章的读者、转发者等。这些特征从不同的方面描绘了同一数据样本，使我们能够全面地了解数据样本。
在所有多视图研究任务中，多视图聚类引起了越来越多的关注，其关键在于利用跨多个视图共享的一致的样本级聚类结构。然而，由于多视图数据的每个视图都是独立收集的，因此每个视图的表示总是具有不同的特征，并且用于描述同一数据样本的不同方面。我们将这种现象称为多视图数据样本的视图级别偏差，这无疑导致了视图之间的不一致结构问题。例如，传统的新闻文章内容视图反映的是话题结构上的信息，而传播行为特征暗示的是用户结构，这与内容视图所描述的用户结构有明显的不同。然而，多视图聚类的旨在找到一个所有视图都同意的一致性样本级结构。视图级别偏差导致的不一致结构问题对多视图聚类任务产生了负面影响，并降低了其性能。
现有的多视图聚类方法忽略了视图级别偏差的影响。它们通常被设计为根据将所有独立学习的视图表示融合起来的唯一样本级表示来发现多视图数据判别性表示。这些方法无法保证样本级表示的最优性，因为每个视图表示都指示不同的聚类结构，且没有证据支持彼此。另外，很难确定哪种视图表示更接近真实的数据划分结果，应该更多地贡献于样本级表示。因此，有必要为多视图聚类任务学习结构去偏差的视图表示，以实现所有视图之间的结构一致性。
本文旨在学习结构一致性的视图表示，以提高多视图聚类性能。因此，提出了一个级联的结构一致性表示学习（SCRL）框架，可以学习受所有视图共享的一致性结构指导的视图表示，以消除多视图数据的视图级别误差。SCRL框架由两个级联过程组成，特别是结构一致性表示学习过程和结构一致性表示修正过程。在结构一致性表示学习过程中，引入了一个一致性联合多自动编码器（CoJMAE），用于估计所有视图共享的一致性结构表示，并根据该一致性结构共同学习所有样本视图的表示。在实践中，在进行聚类过程之前获得一致性结构是不现实的。
一个有用的观察是，具有结构一致性的数据样本在所有视图中应该具有相似的邻居。因此，我们利用一致性邻域来表示跨视图的结构一致性，以指导我们的过程。在CoJ-MAE中，我们将一致性邻域视为隐藏变量，并利用EM（期望最大化）迭代地优化学习视图表示和一致性邻域。结果，视图表示不仅可以反映由多视图重建引导的视图特定特征，还可以指示由一致性邻域引导的视图之间的相似结构信息。为了进一步消除在结构一致性表示学习过程之后可能仍存在的视图之间的不一致结构问题，我们开发了一个用于进行样本级结构不一致性消除的结构一致性表示细化过程。我们调查了一个混合对比细化网络（HyCR-Net），它结合了一个内视图对比细化组件和一个跨视图对比细化组件。在一致性邻域的指导下，HyCR-Net应用对比学习技术来强化所有相关视图表示，以更接近地描述相互关联数据样本的同一视图内或不同视图之间的。结果，每个数据样本的结构一致性可以进一步细化。大量实验结果表明，所提出的SCRL框架可以缓解视图级别偏差的影响。学到的结构一致性表示在多视图聚类上一直具有竞争力。
主要贡献如下：
• 引入了一个专为多视图聚类任务设计的框架——SCRL（结构一致性表示学习）。SCRL解决了由视图级别偏差引起的结构不一致的挑战。该框架包含两个级联过程，有助于学习去偏视图结构一致性和专为聚类量身定制的表示，而无需标记数据。
• 在结构一致性表示学习过程中，提出了CoJ-MAE（一致性联合多自动编码器）。这个创新组件用于估计跨所有视图的共享一致性结构。利用EM来优化共同学习所有样本视图的表示，提高了聚类结果。
• 在结构一致性表示修正过程中，引入了HyCR-Net（混合对比修正网络）。该组件进一步解决了视图间不一致结构问题。它以一致性邻域为指导，显著提高了学到的表示的质量。
• 通过对真实数据集进行的大量实验对所提出的SCRL框架进行了验证。结果表明，所提出的SCRL在提高聚类性能方面具有有效性，突显了这些贡献对多视图聚类任务的适用性。
三、相关工作
四、方法提出
1.问题陈述
在本节中，我们提出了所提出的SCRL框架，其中包含一组多视图数据𝑋={𝑥1𝑖, …, 𝑥𝑣𝑖, … , 𝑥𝑉𝑖}，其中𝑉和𝑁分别表示视图数量和样本数量。具体而言，表示数据样本𝑥𝑖的第𝑣个视图。𝑣视图中的所有样本可以形成一个特征矩阵𝑋𝑣∈ℝ𝑁×𝑑𝑣，其中
是第𝑣个视图的特征维度。SCRL框架旨在学习用于将给定的多视图数据𝑋聚类到𝐶个不同簇中的结构一致性表示。注意，𝐶是作为先验知识给定的。
SCRL框架的整体架构如图1所示。
该框架包含两个级联过程，即结构一致性表示学习过程和结构一致性表示细化过程。在结构一致性表示学习过程中，引入了一种一致性联合多自动编码器（CoJ-MAE），用于（1）学习跨所有视图共享的一致性邻域，并且（2）通过一种EM风格的优化来共同学习所有样本视图的表示，该优化是在一致性邻域的指导下进行的。我们丢弃了CoJ-MAE的视图解码器，而是使用其视图编码器来获取后续的混合对比修正网络（HyCR-Net）的初始视图表示。HyCR-Net利用一致性邻域，并通过视图内对比细化组件和跨视图对比细化组件共同细化视图表示。为了验证学习到的表示的可区分性，我们应用了一个聚类模块来获取多视图数据的聚类划分。由SCRL框架学习的视图表示被融合成样本级表示，然后作为聚类模块的输入。
图示说明：所提出的SCRL框架的结构。为简单起见，图中展示了一个双视图数据集，但可以轻松扩展到具有多个视图的设置。所提出的SCRL框架由一致性联合多自动编码器（CoJ-MAE，用于结构一致性学习过程）和混合对比细化网络（HyCR-Net，用于结构一致性细化过程）组成。注意，图中仅展示了部分正/负对。对比设置的详细信息可以在相应的子节中找到。
2.一致性联合多自动编码器
在结构一致性表示学习过程中，设计了一致性联合多自动编码器（CoJ-MAE），在共识邻域的指导下，同时学习统一的共识邻域和所有样本视图的表示。CoJ-MAE由一组自动编码器（AEs）组成。每个AE用于学习每个样本视图的语义表示。在传统的AE重建损失的基础上，根据AE对一个统一的共识邻域的满意程度，对AE进行联合训练。因此，CoJ-MAE能够在捕获每个视图的具有区分性的特征的基础上促进视图表示的结构一致性。具体来说，CoJ-MAE的总目标函数表述如下：
设𝐴为一致性邻域矩阵，𝑧为每个数据样本𝑥的语义表示。令𝜭为由𝐴指示的一致性邻域样本对的集合。注意，如果𝐴中的元素𝑎𝑖𝑗等于1，则（𝑖，𝑗）∈𝜭。所有（𝑖，𝑗）∈𝜭都被视为在其视图邻域上具有全局一致性。我们通过测量所有一致性邻域样本对（𝑖，𝑗）∈𝜭的语义视图表示𝑧_𝑣的接近程度来估计结构一致性损失L_𝐶𝑜𝑁。具体来说，L_𝐶𝑜𝑁定义如下：
其中，𝑤_𝑖𝑗 是每个（𝑧_𝑖，𝑧_𝑗）的一致性平衡因子，强调那些具有不平衡测量值的相邻样本对的每个视图的接近度。具体来说，𝑤_𝑖𝑗 的估计如下：
其中𝛿是涉及𝑧_𝑖的所有邻居对（𝑖，𝑗）∈ A 的所有最大欧氏距离。值得一提的是，我们在提出的SCRI中采用了不对称距离测量方法。这种不对称的测量允许模型为样本对的不同关系分配不同的权重。因此，我们可以根据问题的具体要求估计样本之间不同关系的权重，从而更精确地反映它们的重要性。此外，非对称测量方法在推荐系统和社会网络分析等任务中得到了广泛的应用。
如果数据样本𝑥𝑖和𝑥𝑗的语义表示𝑧_𝑣𝑖和𝑧_𝑣𝑗被视为𝑣视图中的邻居对；那么𝑎_𝑣𝑖𝑗被设置为0，否则为1。在本文中，我们简单地采用𝑘-最近邻（𝑘-NN）模型来捕捉每个数据样本的近邻。这里我们将近邻的数量设置为𝑘。注意，𝐴是视图邻域矩阵𝐴𝑣的并集。由𝐴指示的邻居样本对可能不被所有视图都认同。我们将在结构一致性细化过程中处理这种不一致的情况。
EM式的过程以迭代的方式进行，直到不A*或迭代的次数达到预定的限制为止。通过EM风格的优化，学习到的视图表示不仅可以在多视图重构的指导下反映视图特定的特征，而且可以在共识邻域的指导下显示跨视图的相似结构信息。
3.混合对比修正网络
请注意，在结构一致性表示学习过程之后，可能仍然存在具有不一致结构的数据样本。我们开发了一个结构一致性表示修正过程，其中包含一个混合对比修正网络（HyCR-Net），用于消除样本级的结构不一致性。HyCR-Net中有两个对比组件，即在视图内对比修正组件和跨视图对比修正组件，以强化所有相关视图表示的近似描述。相关视图表示不仅在同一视图内进行捕捉，由在视图内对比修正组件调查，还在不同视图之间进行捕捉，由跨视图对比细化组件调查，来自相关数据样本的。请注意，我们利用CoJ-MAE的编码器网络来学习每个数据样本𝑥的初步语义表示𝑧。然后，通过HyCR-Net从𝑧学习对比语义表示ℎ。具体来说，第𝑣视图的ℎ_𝑣由一个共享的两层非线性MLP投影器学习，其中应用了混合对比损失。由𝜙_𝑤𝑐 参数化的两层非线性MLP投影器设置如下：
[以强制所有相关的视图表示具有更接近的描述。相关的视图表示不仅可以在相同的视图中捕获(由视图内对比修正网络探索)，还可以从不同的视图中捕获(由跨视图对比修正组件探索)相关数据样本。注意，我们使用CoJ-MAE的编码器网络来学习每个数据样本的初步语义表示。然后通过HyCR-Net学习对比语义表示。具体来说，𝑣th视图的𝑣是由一个共享的两层非线性MLP投影仪学习的，其中应用了混合对比损失。]
在视图内对比修正。是为了提高从同一视图收集到的相关语义表示的相似性测量。
对于每个数据样本 𝑥，视图内的正样本对是通过𝑥的所有视图和由一致性邻域矩阵 𝐴* 指示的其邻居派生的。具体而言，给定由 𝐴* 指示的一致性邻域对集合A，我们通过将所有一致性邻域对（𝑖，𝑗）中的每个视图 𝑣 的视图对（，
）来构造视图内正对样本集合
。视图内负样本对集合
则由其他视图数据样本对组成。注意，𝑧 和 ℎ 分别是数据样本 𝑥 的语义表示和对比语义表示，由 CoJ-MAE 和 HyCR-Net 学习得到。
设计了一个视图内对比修正损失，记为，以增加所有正视域内对比样本之间的相似性，并推导所有负视域内对比样本的相似性。数据样本的所有视图更有可能在它们的邻居上达成一致。具体而言，
设计如下：
视图对比修正。旨在提高从不同视图收集到的相关语义表示的相似性测量。
考虑给定的一致性A。通过以下两种情况，构造跨视图正样本对。
在第一种情况下，通过将相关数据样本的不同视图配对来构造跨视图正样本对。（在本文中，我们将属于A的那些一致性样本对视为相关数据样本。）为了简化计算复杂度，使用一致性邻居的平均值来构造伪数据样本以形成跨视图的样本对。具体来说，给定一个数据样本 𝑥_𝑖，为𝑥_𝑖的每个视图 𝑣 的 ℎ_𝑣_𝑖，生成跨视图正样本对（ℎ_𝑣_𝑖，̂ℎ_−𝑣_𝑖），其中 −𝑣 是除了𝑣之外的另一个样本视图。̂ℎ_−𝑣_𝑖是通过取𝑥_𝑖在视图−𝑣中的ℎ_𝑖的一致性邻居的平均值生成的伪数据样本的对比语义表示。
在第二种情况下，假设不失一般性，将来自同一数据样本的不同视图视为相关视图表示。为𝑥_𝑖的 ℎ_𝑣_𝑖，构造跨视图正样本（ℎ_𝑣_𝑖，ℎ_−𝑣_𝑖）。我们将负的跨视图对比样本设置为将每个数据样本ℎ_𝑖与所有非邻居配对。
跨视图对比修正损失旨在将正的跨视图对比样本拉近，同时将负的跨视图对比样本推远。具体而言，
：
通过执行上述混合对比修正损失，提出的SCRL框架在细化过程中借助一致性邻域矩阵𝐴*鼓励准确的视图内和跨视图判别。 在上述两个过程之后，提出的SCRL框架可以直接用于生成用于聚类的可区分的多视图表示。更具体地说，每个视图的对比语义表示被串联起来形成一个视图去偏的结构一致性表示，然后可以被任意的聚类模块使用以获得聚类预测。在我们的实验中，我们应用了k-means算法，因为它简单直观，可以很好地反映表示的结构。
五、结论
在本文中，我们提出了一种名为SCRL的多视图结构一致性表示学习框架，旨在解决由视图级偏差引起的不一致结构问题。首先，引入了一种具有EM风格优化的CoJ-MAE，用于估计所有视图共享的一致性结构，并通过一致性结构共同学习所有样本视图的表示。然后，利用HyCR-Net进行表示细化，通过进一步消除同一视图内和不同视图之间的不一致视图表示，实现以聚类为导向的结构一致性表示。大量的实验结果表明，所提出的SCRL框架可以缓解视图级偏差的影响，并且学到的结构一致性表示在多视图聚类任务上始终具有竞争力。尽管SCRL是一个用于多视图聚类的视图表示学习框架，但聚类的目标并未整合到训练过程中。在未来的工作中，我们将对视图表示学习和聚类的协同合作感兴趣，以便这些模块在提高最终聚类性能方面相互受益。
-
在本文中，提出了一种名为SCRL的多视图结构一致性表示学习框架，旨在解决由视图级偏差引起的不一致结构问题。
-
首先，引入了CoJ-MAE，利用EM风格的优化来估计所有视图共享的一致性结构，并通过该一致性结构共同学习所有样本视图的表示。
-
然后，利用HyCR-Net进行表示细化，通过进一步消除同一视图内和不同视图之间的不一致视图表示，实现以聚类为导向的结构一致性表示。
-
实验结果表明，SCRL框架可以缓解视图级偏差的影响，并且所学到的结构一致性表示在多视图聚类任务上具有竞争力。
-
尽管SCRL是一个用于多视图聚类的视图表示学习框架，但聚类的目标并未整合到训练过程中。
-
在未来的工作中，将探索视图表示学习和聚类的协同合作，以提高最终聚类性能。
2667
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
