Multi-view Clustering via Deep Matrix Factorization and Partition Alignment

摘要

多视角聚类（Multi-view clustering，简称MVC）在近年来得到了广泛研究，用于收集多源信息。一种典型的MVC方法是基于矩阵分解，以有效地进行降维和聚类。然而，现有方法可以通过以下考虑进一步改进：
i）当前的单层矩阵分解框架不能充分利用有用的数据表示。
ii）大多数算法只关注共享信息，而忽略视角特定的结构，导致次优解。
iii）现有工作中未利用分区级别的信息。为了解决上述问题，我们提出了一种新颖的多视角聚类算法，通过深度矩阵分解和分区对齐。具体而言，通过深度矩阵分解获得每个视图的分区表示，然后与最佳的分区表示联合利用以融合多视角信息。最后，我们开发了一种交替优化算法来解决优化问题，并证明其收敛性。在六个基准多视角数据集上进行的全面实验结果清楚地证明了所提算法相对于现有方法的有效性。

介绍

近年来，大量数据来源于多个源头或由不同属性描述，这在大多数文献中被称为多视角数据。例如，一个物品可以通过图像插图和简短的文本描述来表示；人物身份包含面部图像和声音信息。随着大量未标记的多视角数据的积累，多视角聚类被提出来充分利用提供的信息，因此受到了广泛关注。现有的多视角聚类算法可以通过应用的模型分为四类：协同训练（Co-training）[1]–[3]、多核学习（Multi-kernel learning）[4]–[7]、图聚类（Graph clustering）[8]、[9]和子空间聚类（Subspace clustering）[10]–[12]。早期融合的基本思想是将多视角的多个特征或图结构表示融合成一个单一的表示，然后应用已知的单视角聚类算法。例如，基于图的聚类方法[13]使用图结构在每个视图下构建样本相似性，然后使用随机游走策略融合这些图。多核学习方法通过线性或非线性组合融合多个基础核以获得用于聚类的最佳核。子空间聚类[14]旨在为每个视图找到合适的低维表示和结构，然后将它们融合到一个包含丰富信息的表示中进行聚类。另一方面，后期融合的方法将各个视图的聚类结果集成起来。后期融合（ Late fusion）可以分为集成学习和协同训练（collaborative training）。集成聚类算法的输入是与多个视图对应的聚类结果。在[15]中，定义了一个用于最终聚类结果与输入聚类结果之间距离的共识损失函数来获得聚类结果。协同训练训练的重点是如何在共同训练过程中获得更好的聚类结果。[1]通过对每个视图执行谱嵌入来获得多个聚类结果，并使用这些聚类结果来影响其他视图的原始表示。此外，[8]应用后期融合进行多核k均值聚类，并减少了算法的复杂性和时间成本。我们提出的方法属于子空间聚类中的非负矩阵分解（NMF）聚类，同时也属于后期融合聚类。

NMF广泛应用于聚类中，因为它具备处理高维数据和捕捉不同视图的潜在表示的能力。一些研究[16]–[18]通过定义视图的多样性来减少不同视图表示之间的冗余。[19]中的方法倾向于生成具有均匀分解的分布，使得学到的表示更具有区分性。此外，引入交叉熵代价函数[20]和邻居信息[21]来引导学习过程。尽管NMF可以很好地解决高维问题，但似乎对捕捉数据的内部结构无能为力。因此，随后的工作通过添加图正则化项[22]和常见的正则化项[23]，[24]来实现保留数据空间的局部几何结构。为了减小异常值的影响，[25]中引入了具有流形正则化的L21范数。随着研究的发展，通过单层NMF聚类提取的信息通常不能满足我们对数据信息挖掘的需求。为了探索更深层次和隐藏的数据信息，[26]提出了一个深度半NMF模型来探索具有隐含低层隐藏属性的复杂分层信息。受到深度半NMF的影响，模型DMVC [27]通过原始数据结构的指导学习包含深层信息的公共低维表示。最近，一个通过深度NMF方法[28]进行多视图聚类的研究提出了自动学习每个视图的最优权重。尽管现有的NMF方法取得了成功，但仍可以通过以下考虑对其进行改进：i）充分利用原始数据获取更具区分性的信息；ii）关注视图之间的共享和特定信息；iii）改进多视图信息的融合策略。

为了解决这些问题，本文提出了一种新颖的基于深度NMF和分区对齐的多视图聚类方法（MVC-DMF-PA）。首先，我们利用深度半NMF从不同视图中获取基本分区矩阵，同时捕捉特定信息。其次，通过最优排列，最大化共识分区矩阵与均匀加权基本分区矩阵的对齐。最后，我们将基本分区学习和后期融合统一到一个框架中，希望学习出用于聚类的共识分区矩阵。本文的主要贡献总结如下：

• 我们提出了一种深度半NMF和分区对齐的多视图聚类方法。在这项工作中，我们将分区学习和后期融合阶段统一到一个框架中，相互促进并指导彼此，以获得最终的共同分区矩阵用于聚类。
• 我们通过使用深度半NMF框架将特征矩阵分解为每个视图的分区矩阵。然后，通过对齐多个分区矩阵，使用后期融合方法学习融合的共识分区结果。
• 我们推导出迭代更新规则来解决优化问题，并在六个多视图数据集上进行了大量实验。实验结果表明，MVC-DMF-PA与其他最先进的方法相比具有良好的性能。

我们提出的MVC-DMF-PA的示意图如下所示。首先，通过深度半非负矩阵分解方法获得多个基本分区矩阵。然后，通过最优排列的方式，通过最大化该矩阵与均匀加权基本分区矩阵的一致性，学习得到一个共识分区矩阵。最后，通过深度矩阵分解阶段和后期融合阶段的交替提升，直到收敛。

相关工作

由于在潜在特征提取方面具有出色的性能，NMF和许多NMF变种被广泛用于聚类。因此，我们从对NMF和半NMF的简要介绍开始，然后介绍深度半NMF及其在多视图聚类中的公式化。

NMF将非负数据矩阵 $X_{+}$ 分解为两个非负矩阵 $Z$ 和 $H$，它们的秩较低。 NMF的公式化可以表示为：

我们将 $X_{+}\in R^{d\times n}$ 定义为非负数据矩阵，其中 $Z\in R^{d\times k}$ 可以被视为聚类中心，而 $H\in R^{k\times n}$ 表示聚类指示符。我们可以发现，NMF与K-means聚类算法密切相关，同时保持正交约束[29]。当输入数据具有混合符号时，我们可以限制 $H$ 为非负，而对Z的符号不加限制。这被称为半NMF[30]：

其中，当数据矩阵具有混合符号时，我们将 $X\in R^{d\times n}$ 定义为数据矩阵。
当半NMF的目标是学习原始数据矩阵的低维表示 $H\in R^{l\times n}$ 时，$l$ 的取值范围为 $[k,d]$。$Z\in R^{d\times l}$ 可以被视为原始数据矩阵和新表示 $H$ 之间的映射关系。在许多情况下，我们希望分析的数据通常相当复杂，并具有一组不同且未知的属性。因此，有一项工作[26]提出了深度半NMF模型，将给定的数据矩阵 $X$ 分解为 $m+1$ 个因子，如下所示：

其中，$H_i=Z_{i-1}{H}_{i-1}(i>2)$。当我们将这个深度半NMF框架用于多视图聚类时，我们可以得到：

在此之后，许多学者尝试基于深度半NMF框架进行多视图聚类的研究。其中，[27]提出了一种基于内在结构引导的方法，用于学习用于聚类的共同表示 $H_m$。该想法可以表示为以下形式：

其中，$H_i^{(v)}=Z_{(i-1)}^{(v)}{H}_{(i-1)}^{(v)}(i>2)$，而 $H_m$ 被设置为约束，以在多层因式分解后强制多视图数据共享相同的表示。$L^{(v)}$ 表示视图 $v$ 的图的拉普拉斯矩阵，用于保持原始数据的几何结构。

受到这项工作的启发，但我们持有不同的观点。我们认为从每个视图学习到的表示具有每个视图的独特信息。因此，新的表示不能完全相同，但一定会得到相同的聚类结果。此外，使用原始结构信息会在一定程度上抑制表示的学习，并影响最终的聚类结果。因此，我们提出了一种基于后期融合和深度半NMF的新型多视图聚类算法。具体细节将在第三节中介绍。

提出的方法

在本节中，我们首先简要介绍我们提出的方法的动机。其次，我们将详细讨论基于深度半NMF和分区对齐的多视图聚类方法。最后，我们将总结整体算法并提供时间复杂度的分析。如表I所示，我们列出了在我们的工作中使用的符号，并对它们进行了描述，除了临时符号外。为了更容易阅读，我们还解释了文章中一些必要的符号。

A. 动机

多视图聚类本质上是信息融合的任务。据我们所知，根据融合阶段或称为特征级别和决策级别融合，信息融合可以分为早期融合和后期融合。虽然我们可以在融合的任何阶段得到结果，但后期融合的优点在于减少其他信息通道对每个单独分区的干扰。那么我们如何对我们已经得到的基本分区进行后期融合呢？图1的右下角显示了后期融合过程的一个小示例。我们可以发现，尽管 $H_m^{(1)}$ 和 $H_m^{(v)}$具有不同的表示形式，但它们都显示出相同的聚类结果。我们将 $H$ 表示为共同分区或称为一致分区矩阵。后期融合的目标是通过最优排列，使共识分区矩阵与均匀加权的W基本分区矩阵之间的对齐最大化，从而获得一个一致的分区矩阵。

B. 提出的方法

正如在第II节中所述，我们认为在多层半NMF之后，不同视图的聚类结果应该相同，而不是表示形式相同。因此，我们的工作基于深度半NMF和后期融合构建。与早期融合的先前工作不同，我们使用后期融合或称为决策级别融合来减少随机噪声的影响。我们提出方法的目标方程如下所示：

优化目标的第一项表示 $V$ 个视图的重构损失，这是多视图深度半NMF的目标方程。$\alpha$ 表示所有视图的重构损失的比例。最后一层的维度是 $k$，这意味着$H_m^{(v)}$ 表示第 $v$ 个视图的分区矩阵。为了适应每个数据集，我们将不同层的维度调整为聚类数的倍数。重构损失项可以更好地探索原始数据中更丰富的隐藏信息。不同的视图具有不同的来源，因此在每个视图的最终分区矩阵中会存在一些差异，如第II节所述，并将其表示为 $H_m^{(v)}$。

优化目标的第二项表示后期融合的损失。$H_m^{(v)}$ 表示第 $v$ 个视图的分区矩阵，$H$ 表示共识聚类分区矩阵。$W^{(v)}$表示第$v$ 个视图的列对齐矩阵，该矩阵可以对列进行交换，以解决不同视图的聚类索引矩阵具有相同含义但不同表示的情况。${\beta }^{(v)}$ 是将第 $v$ 个分区矩阵融合到H中的加权系数。因此，后期融合的目标函数是最大化共识分区矩阵 $H$ 与融合分区矩阵 ${\sum }_{v=1}^V{\beta }^{(v)}{H}_m^{(v)T}{W}^{(v)}$ 的对齐。

C. 初始化

根据[27]中的初始化方法，我们也按层进行初始化。首先，我们对视图 $v$ 的数据矩阵 $X^{(v)}$ 进行分解：$X^{(v)}\approx Z_1^{(v)}{H}_1^{(v)}$，从而得到新的表示 $H_1^{(v)}$。然后我们对 $H_1^{(v)}$ 进行分解：$H_1^{(v)}\approx Z_2^{(v)}{H}_2^{(v)}$，得到 $H_2^{(v)}$。继续对新获得的表示进行分解，直到得到分区矩阵 $H_m^{(v)}$。最终，我们获得了所有视图的 $H_m^{(v)}(v=\mathrm{1...}V)$。通过设置 $W^{(v)}=I_k$，我们得到了W的初始化，并且满足条件$W^{(v)}{W}^{(v)T}=I_k$。我们在开始时认为所有视图对损失的贡献相同，因此我们设置 ${\alpha }^{(v)}=1/V$ 和 ${\beta }^{(v)}=1/\sqrt{V}$。

D. 优化

为了解决公式6，我们设计了一个七步交替优化算法，其中有三个步骤是继承自原始深度半NMF的优化过程，两个步骤可以通过现成的软件包轻松解决，最后的两个步骤可以得到闭式解。需要注意的是，对于第 $v$ 个视图，我们需要逐层优化 $Z_i^{(v)}$ 和 $H_i^{(v)}$，即先优化 $Z_1^{(v)}$，然后优化 $H_1^{(v)}$，直到优化 $Z_m^{(v)}$ 和 $H_m^{(v)}$。

1) 更新 $H$ 的子问题：

在固定 $Z_i^{(v)}$ 、 $H_i^{(v)}$、$W^{(v)}$、$\alpha$ 和 $\beta$ 的情况下，优化方程(6)可以写成如下形式：

其中 $U={\sum }_{v=1}^V{\beta }^{(v)}{H}_m^{(vT)}{W}^{(v)}$。方程(7)中的这个问题可以通过对给定矩阵 $U$ 进行奇异值分解（SVD）来轻松解决。

2) 更新 $Z_i^{(v)}$ 的子问题：
在固定 $H$、$H_i^{(v)}$、$W^{(v)}$、$\alpha$ 和 $\beta$ 的情况下，优化方程(6)可以写成如下形式：

3) 更新 $H_i^{(v)}$ 的子问题（i < m）：

在固定 $H$、$Z_i^{(v)}$、$W^{(v)}$、$\alpha$ 和 $\beta$ 的情况下，优化方程(6)可以写成如下形式：

其中 $[A{]}^{+}=(|A|+A)/2$，$[A{]}^{-}=(|A|-A)/2$。与我们之前的工作[27]相同，我们通常在使用 $H_i^{(v)}$ 的更新规则之前，使用上述更新规则更新 $H_m^{(v)}$，以便简化代码编写并加快程序的收敛速度。

4) 更新 $H_m^{(v)}$ 的子问题：

在固定 $H$、$Z_i^{(v)}$、$H_i^{(v)}(i<m)$、$W^{(v)}$、$\alpha$ 和 $\beta$ 的情况下，优化方程(6)可以写成如下形式：

接下来我们证明方程（13）是方程（12）的解。我们引入方程（12）的Lagrange函数如下：

通过设置 $\partial L(H_m^{(v)})/\partial H_m^{(v)}=0$，根据互补松弛条件，我们可以得到如下结果：

所以我们可以得到：

然后我们可以轻松地得到 $H_m^{(v)}$ 的更新规则，即方程(12)。

5) 更新 $W^{(v)}$ 的子问题：

在固定$H$、$Z_i^{(v)}$、$H_i^{(v)}$、$\alpha$ 和 $\beta$ 的情况下，优化方程6可以写成如下形式：

其中 $Q={\beta }^{(v)}{H}_m^{(v)}{H}^T$。方程（14）中的这个问题可以通过对给定矩阵 $Q$ 进行奇异值分解（SVD）来轻松解决。

6) 更新系数 ${\alpha }^{(v)}$ 的子问题：

在固定 $H$、$Z_i^{(v)}$、$H_i^{(v)}$、$W^{(v)}$ 和 $\beta$ 的情况下，优化方程6可以写成如下形式：

其中 $\gamma$ 是拉格朗日乘子。通过对方程(16)关于 ${\alpha }^{(v)}$ 求导并将导数设为零，我们可以得到 ${\alpha }^{(v)}=\gamma /2R^{(v)}$。然后我们将 ${\alpha }^{(v)}$ 代入方程(15)中的 ${\sum }_{v=1}{\alpha }^{(v)}$，并最终得到 ${\alpha }^{(v)}$ 的表达式如下：

7) 更新系数 $\beta$ 的子问题：

在固定 $H$、$Z_i^{(v)}$、$H_i^{(v)}$、$W^{(v)}$ 和 $\alpha$ 的情况下，优化方程6可以写成如下形式：

我们在算法1中总结了提出的算法。我们至少训练150次迭代直到收敛，然后对 $H$ 进行 K-means 聚类以获得聚类结果。

E. Computational Complexity

我们的工作包括预训练和微调的过程，因此我们将分别对它们进行分析。为了使分析更清晰，我们假设所有层的维度相同，用 $l$ 表示维度。所有视图的原始特征的维度相同，用 $d$ 表示。$t_{pre}$ 表示预训练过程中达到收敛所需的迭代次数，$t_{fine}$ 表示微调过程中达到收敛所需的迭代次数。因此，预训练和微调阶段的复杂度分别为 $O(Vm{t}_{pre}(n{d}^2+dnl+ldn+l{p}^2+lpn))$ 和 $O(Vm{t}_{fine}(ldn+d{l}^2+n{l}^2+n{k}^2+k^3+k{n}^2))$，其中 $l\le d$ 且 $k<n$ 通常成立。总之，我们算法的时间复杂度为 $O(Vm{t}_{pre}(d{l}^2++n{d}^2))+O(Vm{t}_{fine}(ldn+d{l}^2+n{l}^2+k{n}^2))$。

IV. EXPERIMENTS

在本节中，我们首先介绍用于实验的基准数据集和比较算法，然后对实验结果进行评估，分析参数敏感性和我们提出的方法的收敛性。

A. Dataset

我们在六个广泛采用的多视角学习基准数据集上评估了所提出方法的性能。其中包括三个图像数据集：MSRCV1、YALE、HW，以及三个文本数据集：BBC、BBCSport、Reuter。这些数据集的详细信息如表III所示。

B. Compared method

在我们的实验中，我们对比了几个代表性模型，包括一个基线模型，将所有视图都用具体的K-means算法（CKM）进行聚类，一个基于核方法的多视图核K-means算法（MVKKM）[32]，一个基于图的多视图聚类方法（GMC）[33]，两个基于子空间的方法（PMSC）[14]和（CSMVSC）[34]，两个共训练方法（Co-train）[1]和（Co-reg）[2]，以及五个代表性的矩阵分解模型（MultiNMF）[35]，（MVCF）[36]，（ScaMVC）[37]，（DMVC）[27]和（AwDMVC）[28]。

C. Experimental setup

对于我们提出的方法和所有对比方法，我们首先进行数据预处理，即对所有数据集进行归一化处理。我们将聚类数目 $k$ 视为每个数据集的真实类别数。对于我们提出的方法，权重系数 $\gamma$ 是从 2 的负12次方、2 的负11次方，一直到 2 的4次方、2 的5次方中选取的。

我们假设层的大小应与聚类数目相关，因此我们设计了两种方案。一种是 $p_2=[l_1,k]$，另一种是 $p_3=[l_1,l_2,k]$。其中，$p_2$ 中的 $l_1$ 从 $[4k,5k,6k]$ 中选取，$p_3$ 中的 $l_1$ 和 $l_2$ 分别从 $[8k,10k,12k]$ 和 $[4k,5k,6k]$ 中选取。对于这些对比方法，我们从作者的网站上获取了它们的论文和代码，并遵循论文中的超参数设置。我们使用三个常用指标来评估聚类性能，它们是准确度（ACC）、归一化互信息（NMI）和纯度（PUR）。为了避免随机初始化的影响，我们重复每个实验50次，并保存最佳结果。所有实验在一台装有Intel i9-9900K CPU@ 3.60GHz×16和64GB RAM的台式计算机上进行，使用MATLAB 2018a（64位版本）进行实验。

D. Experiment results

比较算法在6个基准数据集上的ACC、NMI和Purity如表2所示。最好的以粗体呈现。表IV表示从表II中获得的六个数据集上的次优方法上三种不同指标的增量值。从这些表格中，我们可以得出以下结论:
•如表4所示，在BBC数据上，ACC、NMI、Purity分别提高了11.68%、15.55%和3.47%;在BBCSport的数据中，分别提高了19.85%、11.31%和17.46%。在路透社Reuters和HW的NMI上，虽然性能比次优方法下降了2.28%和4.59%，但差异较小。总体而言，我们提出的方法(MVC-DMF-PA)在六个基准上优于比较基线。
•与同样使用深度半NMF框架的强基线DMVC和AwDMVC进行比较，我们可以发现我们总是取得最好的结果。这意味着我们的后融合框架对于这些数据集更加有效和健壮。
•与先进行图融合后进行谱聚类再进行后期融合的PMSC方法相比，我们的方法更具优势，进一步表明深度半NMF可以提取更多隐藏的有用信息。

综上所述，我们通过上述实验结果证明了我们方法的有效性。综上所述，我们的算法具有以下优点:
i)通过深度半NMF框架获得包含深度和隐式信息的基划分矩阵，提高了基划分矩阵的质量。
ii)采用后期融合的方法，考虑每个单一视图的局域性，自适应地选择导致最优聚类结果的系数，提高聚类结果的准确性。

E. Visualization of the evolution of H 可视化评估H

为了证明共识划分矩阵 $H$ 的有效性，具体来说，我们评估了在每次迭代中学习到的共识划分矩阵 $H$ 的ACC，如图2所示。我们对不同迭代的共识划分矩阵 $H$ 进行t-SNE算法[38]，即第1次、第5次、第10次、第20次迭代。如图3上的实验结果所示，我们的算法在小于20次迭代时快速收敛到局部最小值。图2展示了BBC和BBCSport上共识划分矩阵 $H$ 演化的两个例子。如图2所示，随着迭代次数的增加，数据的聚类结构比旧的聚类结构更加重要、更清晰。这些结果清楚地证明了学习到的共识矩阵 $H$ 对聚类的有效性。

F. Ablation study

当深度为3时，记录参数p3和γ的l1, l2。我们还比较了深度为1时(参数为p1 = [k]， γ)和深度为2时(p2 = [l2, k]， γ)的ACC值。我们发现p1和p2之间的性能差异并不显著，除了数据集BBCSport，其中性能优势翻了一番。最好的表现总是在p3。一般来说，层数越深，结果越好，这可以解释为挖掘的信息越深。

G. Convergence

在图3和图2中，我们绘制了迭代过程中目标值的变化以及聚类结果的可视化。我们可以看到，目标在前10次迭代中收敛速度很快，在60次迭代后收敛，这也可以从图2中得到验证。由此可见，我们的算法收敛速度很快。此外，图3中曲线的小波动可以用我们算法的迭代性来解释。

H. Parameter sensitivity analysis

在本节中，我们研究了参数 $p$ 对所提出的方法的敏感性，并探讨了不同的参数值将如何影响MVC-DMFPA在多视图聚类中的性能。当特征矩阵分解为三层时，我们评估了模型对第1、第2层的参数 $l_1$、$l_2$ 的敏感性。图4显示了MVC-DMF-PA对 $l_1$ 从 $8k$ 到$12k$ 和 $l_2$ 从 $4k$ 到 $6k$ 的聚类性能。从图中可以看出，当我们固定 $l_1$ 时，性能大多随着 $l_2$ 的增加而下降，所以大部分的最优值都是在 $l_2=4k$ 时得到的。但 $l_1$值的最优值是不确定的。

V. CONCLUSION

本文提出了一种具有深度矩阵分解和分区对齐的多视图聚类框架MVC-DMF-PA，以解决关于维数诅咒的多视图聚类问题。首先利用深度矩阵分解得到每个视图的基本划分结果，然后将这些划分矩阵融合为近似的公共划分矩阵。通过对分解过程、后期融合过程和两个过程的相互作用进行更新，可以得到更好的聚类共划分结果。在6个基准测试上的大量实验结果表明，通过与12种SOTA方法的比较，表明了该方法的有效性