矩阵低秩张量分解_基于联合图和低秩张量学习的多视角聚类算法

本文提出了一种基于联合图和低秩张量学习的多视角聚类算法,利用张量奇异值分解定义张量核范数,通过优化投影矩阵和张量来改进聚类性能。实验表明,该方法能有效提升多视角聚类的效果。
摘要由CSDN通过智能技术生成

本文作者:吴建龙、谢星宇、聂礼强、林宙辰、査红彬

本文Unified Graph and Low-rank Tensor Learning for Multi-view Clustering近期被计算机视觉顶级会议AAAI Conference on Artificial Intelligence (AAAI 2020) 接收。

01

引言

聚类是机器学习中的一项重要的研究课题。尤其是随着互联网的发展,我们每天都可以收集大量的未标注的数据,而人工标注的话将耗费大量的财力物力。为了充分利用这些未标注的数据,无监督聚类近期受到研究者的广泛关注,其通过探究样本间的特征相关性,基于一些相似性准则将数据分为不同的类别。对于单视角聚类而言,谱聚类、稀疏子空间聚类(SSC)以及低秩表示学习(LRR)等方法实现了很好的结果。在实际中,我们可以获取不同模态或者不同特征空间的数据表示,例如同一个物体可以用文本、图像以及视频进行描述,同时对于每种模态,我们也可以提出多种不同的特征进行表示。为了充分利用不同视角下的信息来提高聚类性能,多视角学习受到了较多的关注,许多多视角聚类方法也应运而生。鉴于稀疏子空间聚类和低秩表示方法受到了广泛的欢迎,许多基于自表示的多视角子空间聚类方法被相继提出。这些方法达到了非常好的性能,但其主要侧重于子空间学习并且具有很高的计算复杂度。另一个重要的问题是这些方法大多针对成对的矩阵探究视角间的相关性,而从张量层面探究多视角间高阶相关性则更自然和有效。邻接矩阵的构建是聚类算法中的关键一步。基于子空间学习的方法均基于自表示的方式构建邻接矩阵,其具有较高的计算复杂度。而基于谱聚类的算法中邻接矩阵的构建和聚类的优化是分离的,导致学到的聚类结果是次优的。为了解决此问题,我们提出了一种联合图学习和低秩张量表示的算法。具体地,我们首先学习视角相关的投影矩阵将原始空间中的多视角特征投影至低维空间。其次我们基于投影后空间中样本间的距离学习对应的相似度,构建视角相关的邻接矩阵。然后将不同视角的邻接矩阵组合到一起构成三阶张量,基于低秩张量逼近的方式学习最优的表示。最后我们将以上目标组合到一起,联合学习最优的投影矩阵、邻接矩阵和低秩张量。算法的示意图如图1所示。

55ad46c600dc84db6c86d2faa513a329.png

图1 联合图和低秩张量学习算法示意图

02

联合图和低秩张量学习

(1)张量核范数定义

对于低秩张量分解,我们不仅要定义相关的秩,同时还要对张量的秩找到一个紧的凸松弛作为核范数。基于张量的奇异值分解所定义的张量核范数被证明是张量多秩(multi-rank)的51dcb6857655884783ea10fb59d294d2.png范数的最紧的凸松弛[1],故而我们采用了此分解定义张量的秩。我们首先介绍一些张量相关的表示和定义。

对于一个三阶张量d978fb9279654682d8d69a9d6e3bd5e6.png, 我们记59ec55b52cb0dca629c269305e38eda8.png为张量的第i个前切面, 2fd843a80c3da95de858c8ed9001cd17.png为沿第三个维度对此张量作快速傅里叶变换,c329f973e901586fa8b7a5b7f9120236.png为其块矢量化。其块循环矩阵 的定义为:

21e94a9b45c6f60f6dda14d07640943d.png

同时,我们介绍如下定义。

定义1(张量乘积t-product). 记1dead84dfeb98bc7dbe4b5c84be4ce19.png5521fd5805d35c92b5626c549a1d3dca.png分别为大小为452c44e1f9f727a01aafde398ea1c940.png16c7508dbf799a64c29ecbbf0eae95c5.png的两个张量,则1dead84dfeb98bc7dbe4b5c84be4ce19.png5521fd5805d35c92b5626c549a1d3dca.png的张量乘积(t-product)定义为:

beaf9c819195c29616d85e135a36ebc2.png

定义2(f-对角张量). 如果一个张量的每一个前切面均为对角矩阵,那么这个张量被称为 f-对角(f-diagonal)张量。

定义3(单位张量). 对于单位张量(identity tensor)caf569068e55650196127ad922646c39.png,其第一个前切面为大小为n×n的单位矩阵,其它所有的前切面的元素值均为零。

定义4(正交张量). 如果一个张量cc6b33d9c80a1f0c8604fea1752adf83.png满足如下条件,那么它是一个正交张量(orthogonal tensor):

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值