本文作者:吴建龙、谢星宇、聂礼强、林宙辰、査红彬
本文Unified Graph and Low-rank Tensor Learning for Multi-view Clustering近期被计算机视觉顶级会议AAAI Conference on Artificial Intelligence (AAAI 2020) 接收。
01
引言
聚类是机器学习中的一项重要的研究课题。尤其是随着互联网的发展,我们每天都可以收集大量的未标注的数据,而人工标注的话将耗费大量的财力物力。为了充分利用这些未标注的数据,无监督聚类近期受到研究者的广泛关注,其通过探究样本间的特征相关性,基于一些相似性准则将数据分为不同的类别。对于单视角聚类而言,谱聚类、稀疏子空间聚类(SSC)以及低秩表示学习(LRR)等方法实现了很好的结果。在实际中,我们可以获取不同模态或者不同特征空间的数据表示,例如同一个物体可以用文本、图像以及视频进行描述,同时对于每种模态,我们也可以提出多种不同的特征进行表示。为了充分利用不同视角下的信息来提高聚类性能,多视角学习受到了较多的关注,许多多视角聚类方法也应运而生。鉴于稀疏子空间聚类和低秩表示方法受到了广泛的欢迎,许多基于自表示的多视角子空间聚类方法被相继提出。这些方法达到了非常好的性能,但其主要侧重于子空间学习并且具有很高的计算复杂度。另一个重要的问题是这些方法大多针对成对的矩阵探究视角间的相关性,而从张量层面探究多视角间高阶相关性则更自然和有效。邻接矩阵的构建是聚类算法中的关键一步。基于子空间学习的方法均基于自表示的方式构建邻接矩阵,其具有较高的计算复杂度。而基于谱聚类的算法中邻接矩阵的构建和聚类的优化是分离的,导致学到的聚类结果是次优的。为了解决此问题,我们提出了一种联合图学习和低秩张量表示的算法。具体地,我们首先学习视角相关的投影矩阵将原始空间中的多视角特征投影至低维空间。其次我们基于投影后空间中样本间的距离学习对应的相似度,构建视角相关的邻接矩阵。然后将不同视角的邻接矩阵组合到一起构成三阶张量,基于低秩张量逼近的方式学习最优的表示。最后我们将以上目标组合到一起,联合学习最优的投影矩阵、邻接矩阵和低秩张量。算法的示意图如图1所示。 图1 联合图和低秩张量学习算法示意图02
联合图和低秩张量学习
(1)张量核范数定义对于低秩张量分解,我们不仅要定义相关的秩,同时还要对张量的秩找到一个紧的凸松弛作为核范数。基于张量的奇异值分解所定义的张量核范数被证明是张量多秩(multi-rank)的范数的最紧的凸松弛[1],故而我们采用了此分解定义张量的秩。我们首先介绍一些张量相关的表示和定义。
对于一个三阶张量, 我们记为张量的第i个前切面, 为沿第三个维度对此张量作快速傅里叶变换,为其块矢量化。其块循环矩阵 的定义为:
同时,我们介绍如下定义。
定义1(张量乘积t-product). 记和分别为大小为和的两个张量,则和的张量乘积(t-product)定义为:
定义2(f-对角张量). 如果一个张量的每一个前切面均为对角矩阵,那么这个张量被称为 f-对角(f-diagonal)张量。
定义3(单位张量). 对于单位张量(identity tensor),其第一个前切面为大小为n×n的单位矩阵,其它所有的前切面的元素值均为零。
定义4(正交张量). 如果一个张量满足如下条件,那么它是一个正交张量(orthogonal tensor):