差异的多视图聚类

atease0001

已于 2022-12-07 17:05:52 修改

阅读量808

点赞数

文章标签：矩阵聚类线性代数

于 2022-02-16 11:05:21 首次发布

本文链接：https://blog.csdn.net/atease0001/article/details/122957294

版权

最近几年有很多基于差异化的多视图学习算法被提出，这篇文章主要对这些差异化的算法进行简单的总结。这一块的文章很多，简单列举这些典型的算法。

1. Diversity-induced Multi-view Subspace Clustering。 CVPR 2015

这篇文章是目前能看到的第一篇针对于这一任务的文献。

其目标函数很简单：

前两部分很常见，第一个是重构，第二个是图正则。第三部分是差异化度量算法HSIC。

HSIC是从kernel方法推导过来，具体细节可参照相关文献。这是一种常见的差异化策略。

2.Exclusivity-Consistency Regularized Multi-view Subspace Clustering。CVPR 2017

这篇章提出了另一种被广泛采用的差异化度量策略。其目标函数如下：

前两项是常见的L1正则项，第三项是度量差异化的策略（两个矩阵对应的位置的乘积之和，下面在分析），第四项为谱聚类。

3.Measuring Diversity in Graph Learning: A Unified Framework for Structured Multi-view
Clustering。PAMI 2022

4.Consistency Meets Inconsistency: A Unified Graph Learning Framework for Multi-view Clustering icdm 2019

这篇文章主要的观点异常相似，而且发表时间差异很大。主要的观点是每个视角的图可分为两部分即一致性部分A和噪声部分E。主要的观点是，每个视图的噪声部分应该是有很大差异的（第二项i不等于j）；一致性部分应尽量与目标的W一致，噪声的二范数正则（第二项i等于j）。其差异化度量算法与文献2一致。

文章3的目标函数为

文章4 的目标函数为：

3.Diverse Non-Negative Matrix Factorization for Multiview Data Representation。IEEE TRANSACTIONS ON CYBERNETICS 2018

这篇文章在上一篇博客中已简单论述。前几篇文章主要的目标是学习一个图（即数据点之间的邻接矩阵），这篇文章的算法的目的是学习一个最终的表示。其目标函数为：

其差异化策略与文献2一致。

下面我们来分析一下这两种不同的策略。

第二种策略来自于

L0不好算，松弛为L1范数。

下面我们从表示的角度来分析这一个差异化的度量准则。假设 $H_1,H_2\in R^{d\times N}$ ,N表示样本数，d表示得到的维数，那么 $\sum_iH_i$ 表示为最终的表示。假设利用公式（5）来度量差异化，那么差异化的表示即为：

div = tr(H1*H2^T)+tr(H1*H1^T)+tr(H2*H2^T);

后两项为元素的二范数.我们来分析一下第一项

$tr(H_1H_2^T) = \sum_{i=1}^dH_1(i,:)H_2(i,:)^T= \sum_{i,j=1}^dH_1(i,j)H_2(i,j)^T$

假设H1(i,j)=0,该度量策略就失效了。因为此时，不论H2(i,j)多大 H1(i,j)H2(i,j)始终等于0。这是我觉得这种方法的缺点和不足，需要进一步的改进。由于这种度量方法效果较好应用的也比较广泛。

第一种策略是从分布的角度来度量相似性。（具体见相关文献）

这种差异化度量策略，是不是可以度量数据之间的相似度呢？？？答案是肯定的！！！

我们来分析一下下面这篇文章：

GSPL: A Succinct Kernel Model for Group-Sparse Projections Learning of Multiview Data. AAAI 2021

其目标函数如下：

该文章通过HSIC准则来度量映射之后的组合表示于Ug之间的相似性。

如果Ug=F（标签表示矩阵），那么上式的实际上类似于最大化tr（Sb）。当然我们也可以先优化U，然后优化W，这样可能时间复杂度更高。

原创不易，谢绝转载！！！

atease0001

关注