论文阅读”Efficient Deep Embedded Subspace Clustering“（CVPR2022）

最新推荐文章于 2024-04-26 10:21:25 发布

不吃香菜的zbw

最新推荐文章于 2024-04-26 10:21:25 发布

阅读量1.1k

点赞数

分类专栏：论文阅读文章标签：深度学习人工智能聚类

本文链接：https://blog.csdn.net/qq_43497436/article/details/126229285

版权

论文阅读专栏收录该内容

39 篇文章 11 订阅

订阅专栏

论文标题

Efficient Deep Embedded Subspace Clustering

论文作者、链接

作者：

Cai, Jinyu and Fan, Jicong and Guo, Wenzhong and Wang, Shiping and Zhang, Yunhe and Zhang, Zhao

链接：CVPR 2022 Open Access Repository

Introduction逻辑（论文动机&现有工作存在的问题）

聚类——传统聚类，难以处理结构复杂或是高维数据——通过特征学习技术来学习聚类的低维嵌入，以提高聚类的准确性，但是难以保证学到的特征是有利于聚类的

端到端的聚类算法，聚类目标和网络优化的过程结合起来，提供了一种学习基于聚类的嵌入表达的方法——往往使用欧式距离来衡量和辨别簇，但是在不同类型数据面前欧式距离不是常常有效的

子空间聚类——假设数据在不同的子空间中——将子空间聚类和深度聚类的结合，时空复杂度很高

论文核心创新点

提出了一个深度子空间聚类的方法，跳脱出卷积自表示框架

本文方法的时空复杂度是线性增长的

可以应用于在线聚类

分析了利用深度神经网络将基于距离的聚类和基于子空间的聚类进行转换的可行性

论文方法

问题定义

问题1：给一个数据矩阵 $\bold{X} \in \mathbb{R}^{m \times n}$ ，其中 $m$ 代表特征个数以及 $n$ 代表样本个数。假设有 $\bold{X}=\bold{\overline{X}P}$ ，其中 $\overline{\mathbf{X}} = \left[\overline{\mathbf{X}}^{(1)}, \overline{\mathbf{X}}^{(2)}, \ldots, \overline{\mathbf{X}}^{(k)}\right]$ 以及 $\bold{P} \in \mathbb{R}^{n \times n}$ 是一个未知的置换矩阵。对于 $j=1,\dots,k$ ，假设 $\bold{\overline{X}}^{(j)}\in \mathbb{R}^{m \times n_j}$ 的列，由 $\bold{x}=\bold{f_j(v)}+\varepsilon$ 生成，其中 $\mathbf{f}_{j}: \mathbb{R}^{r_{k}} \longrightarrow \mathbb{R}^{m}$ 是未知的非线性函数， $r_j < m$ 以及 $\bold{v} \in \mathbb{R}^{r_j}$ 是随机变量， $\varepsilon \in \mathbb{R}^m$ 是随机的高斯噪声。问题目标是从 $\bold{X}$ 中找到置换矩阵 $\bold{P}$

问题1其实也是一个聚类问题，对于需要将 $\bold{X}$ 的每一列分到 $k$ 个簇中，通过 $k$ 个不同的函数 $f_1,\cdots,f_k$ 。图2演示了问题1的一种简单情况。值得注意的是，这些函数都是线性的，这个问题可以归结为经典的子空间聚类。

问题2：在问题1中，对于 $j=1,\dots,k$ 假设有 $\mathbf{f}_{j}(\mathbf{v})=\mathbf{g}\left(\mathbf{B}^{(j)} \mathbf{v}\right)$ 其中 $\text {, where } \mathbf{B}^{(j)} \in \mathbb{R}^{p \times r_{j}}$ 和 $\mathbf{g}: \mathbb{R}^{p} \longrightarrow \mathbb{R}^{m}$ 。此外， $\frac{\left\|\mathbf{B}^{(i)} \mathbf{B}^{(j)}\right\|_{F}}{\left\|\mathbf{B}^{(i)}\right\|_{F}\left\|\mathbf{B}^{(j)}\right\|_{F}}(i \neq j)$ 是足够小的。问题目标是从 $\bold{X}$ 中找到置换矩阵 $\bold{P}$ 。

经过一系列演算，最终的目标函数变成了，如下所示：

在公式8中， $\bold{z}_i$ 是一个中间变量，不需要去显式地优化它。公式8中的第一项约束，是控制 $\bold{D}$ 的列的尺寸，否则 $\left\|\mathbf{Z}_{i}^{\top} \mathbf{D}^{\left(\alpha_{i}\right)}\right\|$ 可能为0。第二个约束是满足问题1中不同子空间之间不相似的假设。最后一个约束起着子空间分配的作用。

问题的可行解决方案

为了方便，使得

将公式8的第一个约束变成如下的目标函数：

其中， $\odot$ 表示哈达玛积， $\bold{I}$ 是一个尺寸为 $kd \times kd$ 的单位矩阵。

将公式8的第二个约束变成如下的目标函数：

其中 $\bold{O}$ 是所有的 $d$ 尺寸的对角矩阵的元素都是0，其他元素全为1的矩阵。将上面的两个约束结合到一起有：

其中 $\xi$ 是一个超参，设为 $10^{-3}$ 。

对公式8的第三个约束，提出一个子空间矩阵 $S$ ,

来衡量嵌入特征 $\bold{Z}$ 和子空间基代理 $\bold{D}$ 之间的关系：

其中 $\eta$ 是控制平滑度的参数。因此， $s_{ij}$ 表示嵌入特征 $\bold{z}_i$ 属于第 $j$ 个子空间 $\bold{D}^{(j)}$ 的概率。进一步对子空间矩阵 $\tilde{S}$ 进行细化，有：

$\tilde{S}$ 的目标是强调 $S$ 中的高置信度的分布。换句话说， $\tilde{S}$ 可以作为自监督信息，于是得到一下的子空间聚类目标函数：

于是定义一个无约束版本的公式8为：

消融实验设计

损失函数每一项的影响分析

一句话总结

模型本身很简单，效果好像还行，但是没开源代码

不吃香菜的zbw

关注

0
点赞
踩
4

收藏

觉得还不错? 一键收藏
2
评论
论文阅读”Efficient Deep Embedded Subspace Clustering“（CVPR2022）

给一个数据矩阵，其中代表特征个数以及代表样本个数。假设有，其中以及是一个未知的置换矩阵。对于，假设的列，由生成，其中是未知的非线性函数，以及是随机变量，是随机的高斯噪声。问题目标是从中找到置换矩阵问题1其实也是一个聚类问题，对于需要将的每一列分到个簇中，通过个不同的函数。图2演示了问题1的一种简单情况。值得注意的是，这些函数都是线性的，这个问题可以归结为经典的子空间聚类。在问题1中，对于假设有其中和。此外，是足够小的。问题目标是从中找到置换矩阵。...
复制链接

扫一扫