Neighbouring Constraint Deep Matrix Factorization for Sequential Multi-view Clustering

摘要

多视图聚类(MVC)旨在将一组多源数据分割为其潜在的组群。为了提升性能，如何探索更好的表示方法是重要的。在本文中，我们提出了一种具有特征融合的深度矩阵分解模型，用于处理顺序多视图聚类问题。该方法通过逐层嵌入邻近约束来找到每个视图层中的聚类边界信息，并可以获得用于MVC的聚合输出表示。实验证明，所提出的模型极大地提高了聚类性能，并可用于运动分割等应用中。

介绍

为了逐层挖掘更清晰的聚类结构，我们采用结构正则化项[8]的思想，并引入邻近约束来寻找每一层中的聚类边界信息。然后通过分解过程，这种聚类结构将从每个视图中得到增强。最终，我们可以在每个视图中获得一种有效的多样化表示。我们的模型可以表示为：

其中，${\Vert H_i^{(v)}R\Vert }_{2,1}$ 是结构正则化项。$H_i^{(v)}=Z_{i-1}^{(v)}...Z_m^{(v)}{H}_m^{(v)}$ 表示第 $v$ 个视图的第 $i$ 层表示，表示第 $v$ 个视图的第 $i$个成分。$\beta$ 是一个权衡参数，用于控制正则化项的权重。${\alpha }^{(v)}$ 是第 $v$ 个视图的权重系数。$\gamma$ 是控制权重分布的参数。

假设每个视图中邻近点之间存在很高的相似性；距离越近的点，它们的相似性越高，在顺序数据中只有在聚类边界处才会出现突变。在公式(2)中，我们设计了矩阵 $R\in R^{n\times n-1}$，它是一个下三角矩阵，对角线上为 $-1$，第二条对角线上为 $1$：

公式(3)意味着 $HR=[H_2-H_1,H_3-H_2,...,H_n-H_{n-1}]$。$HR$ 的列 如，$H_n-H_{n-1}$ 表示相邻点之间的差异，理想情况下，如果 $H_n-H_{n-1}\approx 0$，意味着相邻点尽可能相似。给定 $k$ 个聚类，理想情况下，$HR$ 应该只有 $k-1$ 个非零列。因此，我们引入 $2,1$-范数来惩罚每列，以寻求共同的聚类结构并保持 $H_i^{(v)}$ 中的稀疏性。

优化：

由于该模型不是凸优化的，无法获得最优解，只能达到局部最小值。与[4]类似，每个层都进行预训练，以获得第 $v$ 个视图中第 $i$ 层的变量 $Z_i^{(v)}$ 和 $H_i^{(v)}$ 的初始近似值。将从第 $1$ 层到第 $m$ 层的维度（层大小）标记为$[p_1...p_m]$，首先，我们对输入数据矩阵进行分解 $X^{(v)}\approx Z_1^{(v)}{H}_1^{(v)}$ 进行预训练，然后将第一个特征矩阵 $H_1^{(v)}$ 分解为$Z_2^{(v)}{H}_2^{(v)}$。依此类推，继续这样做，直到预训练完所有的层。

更新规则为 $H_i^{(v)}$。
对于输入数据矩阵 $X^{(v)}$ ，我们需要解决以下问题：

由于矩阵 $\Phi$ 和 $R$包含负值，我们将它们分解为两个非负部分，用 $M^{+}$ 表示将所有负元素替换为 $0$ 的矩阵，用 $M^{-}$表示将所有正元素替换为0的矩阵。

C. 聚类
通过深度矩阵分解模型进行分解后，多样化表示 $H_i^{(v)}$i 从第 $v$ 个视图的 $m$ 个组件中获取了共同的聚类结构信息。最终的聚合表示 $H_i^{(m)}$可以通过将不同视图中的所有 $H_i^{(v)}$ 进行组合得到。

在得到表示 $H$ 后，通过k-NN算法[15]对建立的图进行谱聚类[10]。