论文阅读笔记：Learning Self-Expression Metrics for Scalable and Inductive Subspace Clustering

---

摘要

自表达特性的方法特别成功，但有两个主要缺点：直接学习二次方的系数矩阵，难以扩展到大型数据集。其次，经过训练的模型是传递的，不能从训练过程中看不到的样本数据进行聚类（直接计算，无法对同分布数据进行泛化）。我们提出了一种新的度量学习方法，使用孪生（Siamese）神经网络结构来学习亲和函数，而不是直接学习自表达系数。因此，我们的模型受益于恒定数量的参数和恒定大小的内存占用，允许它扩展到相当大的数据集。另外，孪生结构与一种新颖的几何分类器相结合进一步使我们的模型具有归纳性。

简介

我们提出了第一种用于子空间聚类的度量学习方法，与现有方法相比，该方法能够在保持理论性能保证的同时，二次方地减少参数数量和内存占用。我们的模型适用于样本外数据，适用于检测非线性聚类，并且可以通过反向传播进行端到端的训练。

孪生子空间聚类网络

以2014年的一个噪声感知进行了relax的高效稠密子空间聚类（Efficient Dense Subspace Clustering, EDSC）为原型:

核心思想是从度量学习的角度来看子空间聚类。采用了1994年就提出的孪生神经网络，该网络由两个相同的分支组成，具有共享权重和镜像参数更新，经过优化，使得潜在空间中的点积对应于自表达系数：

对应地可以看出学C就是学Q，由H的dot高效计算而来，而h本身是网络学习到的函数，完成了X到H的映射。
这不仅是一个凸优化问题，而且我们可以证明，该模型能够恢复原始子空间聚类问题的精确解，即使h仅由单线性层和足够数量的神经元组成（这就是一个线性embedding：$h(x)=WX,W\in {\mathbb{R}}^{d_H\times d_X}$）。

为了处理非线性（流形），我们可以简单地在模型中添加一个自动编码器，将原始数据映射到$d_Z$维中。子空间假设和独立性假设可以更好地满足的潜在空间。该非线性变换与模型的其余部分一起学习，即完整的Siamese Subspace Clustering Network (SSCN)：

对应地观察SSCN的结构图：

实验

实验表明它很明显地降低了参数和内存需求。（由于波动误差，性能其实并未提高，甚至NMI掉了）