论文阅读笔记：A CRITIQUE OF SELF-EXPRESSIVE DEEP SUBSPACE CLUSTERING，自表达深度子空间聚类批判

---

作者 Chong You et.al. 2020年10月公开于arXiv
翻译文献自：arXiv:2010.03697v1
Haeffele, B.D., You, C., & Vidal, R. (2021). A Critique of Self-Expressive Deep Subspace Clustering. ArXiv, abs/2010.03697.

摘要

子空间聚类是一种无监督聚类技术，旨在对线性子空间并支持的数据进行聚类，每个子空间定义一个维度低于环境空间的cluster。许多现有方法基于线性子空间的自表达性质——任何点都可以表示为同一子空间内其他点的线性组合。为了将此方法扩展到非线性流形上数据，许多研究建议使用神经网络学习原始数据的核嵌入。通过对嵌入空间中的数据使用自表达损失函数对其进行正则化，以鼓励数据在嵌入空间中形成线性子空间。在这里，我们表明，这种方法存在许多潜在的缺陷，这些缺陷在以前的工作中没有得到充分的解决。特别是，我们证明了模型公式在多个方面通常是不适定的(ill-posed)，这可能导致数据embedding的退化，这种退化的嵌入根本不需要对应于子空间的并集。我们通过实验验证了我们的理论结果，并额外重复了先前文献中报告的实验，我们得出结论，先前研究声称的性能优势中有很大一部分可以归因于特殊的后处理步骤，而不是聚类模型本身。

1 简介和背景

子空间聚类是一个经典的无监督学习问题，人们希望将给定的数据集分割成一定数量的cluster，每个cluster被定义为一个维数低于环境空间的线性（或仿射）子空间。最先进的方法是基于利用线性子空间的自表达特性。基于这一事实，提出了各种各样的方法，对给定N个d维的数据点的数据集$\text{Z}={\mathbb{R}}^{d\times N}$，通过解决以下优化问题求系数矩阵$\text{C}\in {\mathbb{R}}^{N\times N}$：

其中第一项$\Vert \mathbf{Z}\mathbf{C}-\mathbf{C}{\Vert }_F^2$能够捕获自表达性质，即用数据集本身的其它点去分别表出数据集中所有点，亦即我们希望${\text{Z}}_i\approx {\text{ZC}}_i$。第二项$\theta (\mathbf{C})$是一种正则化，旨在鼓励得到子空间保持解，并避免平凡解（如$\mathbf{C}=\mathbf{I}$）。一旦对得到$\mathbf{C}$，就可以定义数据点之间的Affinity graph，(A通常基于C项的大小），并使用适当的基于图的聚类方法生成数据点的最终聚类。

最早使用这种的方法是稀疏子空间聚类（SSC），其中θ的形式为：

其中$\Vert \cdot {\Vert }_1$表示${\ell }_1$范数，$\delta$是指示函数：如果C对角线上的元素不为零则为$\infty$。通过将C稀疏正则化，要求使用数量最少的其他点来表示自身，这反过来理想地要求数据点仅使用同一子空间中的其他点进行表出。同样，其他变体，如低秩表示（LRR）和弹性网络子空间聚类（EnSC），采用相同的形式，但选择不同的正则化：${\theta }_{LRR}(C)=\Vert C{\Vert }_{\ast },{\theta }_{EnSC}=\Vert C\Vert +\tau \Vert C{\Vert }_F^2+\delta (diag(C)=0)$，其中核范数$\Vert C{\Vert }_{\ast }$是奇异值的总和。

大多数这些方法的一个显著优点是，可以证明最优C矩阵是“正确的”（通常取决于关于基础子空间之间的角度和子空间内采样数据点的分布的一些技术假设）从这个意义上讲，如果$C_{i}j$是非零的，那么$Z$的第$i$列和第$j$列保证位于同一线性子空间中，这使得这些方法在许多应用中实现了最好的性能。

1.1 基于自表示的深度子空间聚类

尽管基于自表达的子空间聚类技术显示出很强的经验性能并提供了理论保证，但这些技术的一个显著局限性是需要在底层数据集上近似支持线性子空间。这导致了将其扩展到更一般的数据集的强烈动机，如支持非线性低维流形的数据。通过检查公式（1）的右侧，可以观察到对数据$\mathbf{Z}$的唯一依赖性是以Gram矩阵的形式出现的${\mathbf{Z}}^{\top }\mathbf{Z}$。因此，自表达子空间聚类技术可以改为使用“Kernel Trick”，即不在数据点之间使用内积，而是使用一般的kernel：$\kappa (\cdot ,\cdot )$。当然，这种方法带来了固有的挑战，即如何选择合适的核，以便将数据嵌入核函数对应的Hilbert空间，从而得到嵌入空间中线性子空间。

最早在2013-2015年，Patel等人给出了学习不一定具有子空间结构的初始数据集$\mathbf{X}$的适当嵌入的方法。该方法学习一个可学习linear projection将数据投影到低维空间，即${\mathbf{Z}=\mathbf{P}}_l\mathbf{X}$（此时$text{\mathbf{P}}_{\mathbf{l}}$和$\mathbf{C}$都被优化）。为确保在低维嵌入$\mathbf{Z}$中保留足够的原始数据信息，作者进一步要求linear projection满足${\text{P}}_l{\text{P}}_l^{\top }=\text{I}$的约束，并在目标函数中添加一个重构误差项$\Vert \text{X}-{\text{P}}_l{\text{P}}_l^{\top }\text{X}{\Vert }_F^2$。

最近，鉴于深度神经网络最近取得的成功，大量研究试图通过神经网络${\Phi }_E(\text{X},{\mathcal{W}}_e)$来学习数据嵌入（$\text{X}$为输入数据集、${\mathcal{W}}_e$为可学习参数）。为了鼓励嵌入后的数据具有子空间结构，这些方法通常最小化嵌入数据上的自表达损失项，其形式如公式（1）所示，且这些技术可以用一般形式来描述：

其中，$F$即自表达损失项，$g$是设计用于防止平凡解（如${\Phi }_E(\text{X},{\mathcal{W}}_e)=0$）的规范化函数。文献中提出了几种不同的$g$。

1. 第一种方法是将某种形式的规范化直接作用于Z。例如，Peng等人提出了一种实例规范化（Instance Normalization），试图将嵌入数据点的范数约束为1，其形式为$g(\mathbf{Z},\mathbf{X},\mathbf{C})={\sum }_{i=1}^N({\text{Z}}_i^{\top }{\text{Z}}_i-1{)}^2$。
2. 同样，我们也可以考虑数据集规范化（Dataset Normalization），它限制整个嵌入表示的范数（$\Vert \mathbf{Z}{\Vert }_{\mathbf{F}}^2\ge \tau$）。
3. 还可以是通道规范化（Channel Normalization），它限制的是$\mathbf{Z}$的每一行，即$\forall i,\Vert {\text{Z}}^i{\Vert }_F^2\ge \tau$。我们注意到，这与神经网络训练中使用的常用的Batch Normalization算子非常相似，后者试图约束$\mathbf{Z}$的每一行具有零均值和常数范数。

g的另一种方式是，再训练一个decoder网络，将嵌入表示再映射回原始数据，以确保在自表达表示中保留足够的信息以恢复原始数据。我们将其称为Auto Encoder正则化，问题的一般形式如下：

其中，第一项是应用于嵌入表示的标准SE子空间聚类损失，第二项是标准AE损失，$\ell$通使用平方误差。注意，在这里，Kernel（以编码网络的形式）和最佳的$\mathbf{C}$是联合训练的，一旦问题（3）得到解决，就可以直接使用恢复的$\mathbf{C}$进行聚类。

1.2 论文贡献

基于自表达的深度子空间聚类（SEDSC）已应用于各种应用，但从理论角度对其了解相对较少。SEDSC的初始公式是基于这样一种直觉，即如果数据集是从线性子空间的并集中提取的，那么解决问题（1）会在C中产生聚类所需的属性。我们可以假设，如果我们还优化了学习嵌入（Z）的几何结构，那么这个目标可能会在嵌入空间中产生一个理想的几何结构（例如，线性子空间的并集）。

然而，对于（1）中形式的问题，大量先前的理论分析只考虑数据固定的情况，并分析最优C矩阵的性质。众所周知的，由于神经网络能够产生高度表达的映射函数（也因此可以生成Z的许多潜在值），因此使用（2-3）等模型本质上是使用（1）作为$\mathbf{Z}$的正则化函数，以鼓励$\mathbf{Z}$形成子空间并集的几何结构。然而，到目前为止，诸如（2-3）的模型在很大程度上是由直觉引导的，当我们在编码矩阵$\mathbf{C}$和网络产生的数据嵌入表示$\mathbf{Z}$上进行优化时，关于$F(\mathbf{Z},\mathbf{C})$鼓励了何种类型的数据几何结构，仍然存在重大的问题。

在这里，我们通过理论分析来探讨这些问题，其中我们表明，当从数据中学习Kernel时，使用$F(\mathbf{Z},\mathbf{C})$作为正则化函数，试图在嵌入空间中鼓励数据的几何结构在很大程度上是不够的。具体地说：

1. 我们首先注意到一个基本事实，即（3）中的自动编码器正则化公式对于大多数常用网络来说通常是不适定的。
2. 其次，即使假设嵌入表示已被适当地规范化，我们也表明$F(\mathbf{Z},\mathbf{C})$鼓励的最佳嵌入数据几何结构是微不足道的，这取决于数据的规范化方式。
3. 我们通过对真实数据和合成数据的实验来说明我们的理论预测。此外，我们通过实验证明，在以前的工作中报告的SEDSC模型的许多声称的性能优势都可以归因于对$\mathbf{C}$的后处理步骤。

图1：我们的理论结果表明：SEDSC模型的目标是训练网络（通常是AE）将数据从非线性流形的并集（左图）映射到线性子空间的并集（中图）。然而，我们表明，对于文献中提出的许多公式，模型的全局最优解在嵌入空间中将发生退化。例如，在Dataset /Channel Batchnormalization中，定理2表明，全局最优几何体将在原点附近聚集所有点，但两个点除外，它们将是彼此的对称copy（只是符号翻转）（右图）。

2 理论分析

2.1 基本缩放问题（scaling issue）

考虑最流行的公式，即采用（3）中的AE正则化。具体地说，我们注意到，如果没有对自动编码器网络参数${\mathcal{W}}_e，{\mathcal{W}}_d$进行任何正则化，或者在嵌入表示${\Phi }_E(\text{X},{\mathcal{W}}_e)$上进行任何归一化，则（3）中的公式通常是不适定的，即$F({\Phi }_E(\text{X},{\mathcal{W}}_e),C)$的值在不改变自动编码器loss的情况下，通过缩小Encoder中的权重，并以不改变AE输出但降低嵌入表示的幅度的方式放大Decoder中的权重，可以使其任意变小。

举个例子：考虑一个单隐藏层的全连接网络作Encoder-Decoder。编码器${\Phi }_E(\text{X},{\mathcal{W}}_e)={\text{W}}_e^2({\text{W}}_e^1\text{X}{)}_{+}$和解码器${\Phi }_D(\text{Z},{\mathcal{W}}_e)={\text{W}}_d^2({\text{W}}_d^1\text{Z}{)}_{+}$，其中 ( x ) + = m a x { x , 0 } (x)_+=max\{x,0\} (x)+​=max{x,0}也就是表示引入entry-wise的非线性ReLU。然后注意到，对于任何$\alpha \ge 0$，ReLU函数都是degree为1的正齐次函数从而有：${\Phi }_E(\text{X},\alpha {\mathcal{W}}_e)=(\alpha {\text{W}}_e^2)(\alpha {\text{W}}_e^1\text{X}{)}_{+}={\alpha }^2{\Phi }_E(\text{X},{\mathcal{W}}_e)$，对于Decoder同理。也就是说通过$\alpha >0$对${\mathcal{W}}_e$进行缩放，然后再用${\alpha }^{-1}$对${\mathcal{W}}_d$进行缩放，并不会改变最终AE的输出，即：

但此时，嵌入表示的范数却发生了变化$\Vert {\Phi }_E(\text{X},\alpha {\mathcal{W}}_e){\Vert }_F={\alpha }^2\Vert {\Phi }_E(\text{X},\alpha {\mathcal{W}}_e){\Vert }_F$。由此，将α取为任意小，嵌入的大小也可以任意小，则目标（3）中的$F(\mathbf{Z},\mathbf{C})$值也可以任意小，而不改变自动编码器的重构误差$\ell$。这意味着只是训练了一个AE，而不需要$F(\mathbf{Z},\mathbf{C})$项的任何贡献（除了试图降低嵌入表示的幅度）。

在实践中，大多数SEDSC使用了这网络而没有正则化，我们注意到，此类模型永远无法求解为全局最优，并且本质上是不适定的。由此可以得出结论，自动编码器正则化本身不足以防止目标（2）得到平凡解。如果通过对网络权重施加正则化/约束（例如使用weight decay或耦合编码器和解码器之间的权重），确保嵌入表示的幅度被约束为大于某个最小值，则该特定问题可以很容易地得到解决（尽管之前的工作通常不如此做），可以在最后一层或编码器上选择不同的非线性激活函数，也可以显式地规范化嵌入表示。然而，即使上面的问题得到纠正，问题仍然是（1）的自表达约束到底鼓励了什么样的几何结构？我们下一步将对此进行探讨。

2.2 AutoEncoder的损失有什么作用？

自动编码器损失旨在确保嵌入表示Z保留关于原始数据X的足够信息，以便解码器可以重构数据，但我们注意到，这并不一定会对Z中嵌入点的几何结构施加重大约束。虽然编码器/解码器体系结构的选择可能会对Z的可能几何结构施加一些约束，合理表达的编码器和解码器可以将有限数量的数据点任意映射到嵌入空间中，并且仍然能够准确地对其进行解码，前提是任意两个点的嵌入在某些$ϵ$扰动中仍然是不同的（即${\Phi }_e$是X中点的一对一映射）。此外，由于我们只对有限的点集X上的映射进行评估，因此这比众所周知的神经网络通用近似机制（需要在整个连续数据域上进行良好的近似）更容易（并且可以通过更简单的网络实现），并且有充分的证据表明，典型的网络体系结构可以最佳地拟合任意有限的训练数据。

我们将首先关注自动编码器具有高度表达能力的设置。在这种情况下，编码器可以选择权重参数来产生任意的Z嵌入选择，只要${\Phi }_E({\text{X}}_i)\ne {\Phi }_E({\text{X}}_j),\forall {\text{X}}_i\ne {\text{X}}_j$，然后解码器可以准确地恢复原始数据$\text{X}$。因此，对于几乎任何Encoder，AE损失$\ell$在（3）中都可以被精确地最小化，因此最佳网络权重将是使$F(\mathbf{Z},\mathbf{C})$最小化的网络权重（可能在一些小扰动范围内使得${\Phi }_E(\text{X})$是$\mathbf{X}$点上的一对一映射）。如果没有其他形式的正则化，这是不适定的，因此在下面的章节中，我们将探索$F(\mathbf{Z},\mathbf{C})$的最优解，当在C和嵌入表示Z上进行优化时，受Z上的三个不同约束：（1）数据集规范化$\Vert Z{\Vert }_2\ge \tau$；（2）通道规范化$\forall i,\Vert {\text{Z}}^i{\Vert }_F^2\ge \tau$；（3）实例规范化$\forall i,\Vert {\text{Z}}^i{\Vert }_F^2\ge \tau$。最后，在描述了$F(\mathbf{Z},\mathbf{C})$的解之后，我们给出了一个可以实现这些解的非常简单（不具有高度表达能力）的体系结构系列的具体示例，表明对于这些解的全局最优性而言，不必假设具有高度表达能力的网络。

2.3 数据集规范化和通道规范化

我们将首先考虑数据集和通道归一化方案，它们将得到非常相似的对嵌入数据几何结构的最优解。此外，虽然我们没有明确地强制执行零均值约束，但我们将看到存在具有零均值的最优解。现在，如果在$(\mathbf{Z},\mathbf{C})$上联合优化$F(\mathbf{Z},\mathbf{C})$，并受上述施加在$\mathbf{Z}$上的约束，则以下情况成立：

定理1

考虑以下联合优化$\mathbf{Z}$和$\mathbf{C}$的目标：

那么P1和P2中C的最优解：

此外，对于任何最优${\mathbf{C}}^{\ast }$, 设$r$是$({\mathbf{C}}^{\ast }-\mathbf{I})$的最小奇异值的重数，令$Q\in {\mathbb{R}}^{N\times r}$是由与$\mathbf{C}$的最小奇异值相对应的左奇异向量所span的子空间的正交基。然后由下式我们得到Z的最佳值：

我们可以从注意到，在Z和C上联合优化$F(\mathbf{Z},\mathbf{C})$相当于找到一个最佳的C来最小化$\mathbf{C}-\mathbf{I}$的最小奇异值和正则化$\theta (\mathbf{C})$之间的trade-off。此外，如果最优C导致$\mathbf{C}-\mathbf{I}$的最小奇异值的重数为1，那么这意味着$\mathbf{Z}$中的每个数据点都是同一点的缩放版本。显然，这样的嵌入对于子空间聚类是无用的。由于最小奇异值是矩阵的凹函数，θ通常为凸正则化函数，导致convex+concave优化，因此在一般情况下$\mathbf{C}$的最优解有点复杂。相反，我们将关注最常用的正则化选择，首先是${\theta }_{SSC}=\Vert \text{C}{\Vert }_1+\delta (diag(\mathbf{C})=0)$，这种情况下最优解为${\sigma }_{min}(\mathbf{C}-\mathbf{I})=0$。我们注意到，这对应于${\mathbf{Z}}^{\ast }={\mathbf{Z}}^{\ast }{\mathbf{C}}^{\ast }$在（1）中当$\lambda$小的时候得到的值。

定理2

该问题的最优解具有集合的形式：

其中$P\in {\mathbb{R}}^{N\times N}$是任意有符号的置换矩阵，$z\in {\mathbb{R}}^d$是满足以下条件的任意向量：$\Vert \text{Z}{\Vert }_F^2\ge \frac{\tau }{2}$ for (P1) 和 ${\text{z}}_i^2\ge \frac{\tau }{2d},\forall i\in [1,d]$ for (P2)。

从上面的结果我们证明，如果Z被规范化，在整个嵌入表示或每行上都有一个下界范数，那么$F(\mathbf{Z},\mathbf{C})$损失仍将尝试将所有点推至0点，但两个点除外，这两个点将是彼此的副本。同样，对于聚类来说，最佳嵌入表示显然是不适定的，因为除了两个点之外，所有的点在嵌入空间中都被平凡地推向0点。

此外，当$\mathbf{C}$被任何Schatten-p范数正则化时，我们也给出了一个类似于定理2的结果，包括另外两种流行的正则化选择——Frobenius范数和核范数的情况。

定理3

考虑以下问题

其中$\Vert \cdot {\Vert }_{{\mathcal{S}}_P}$表示施加在$\mathbf{C}$上任意Schatten-p范数，有集合形式刻画的最优解：

$z\in {\mathbb{R}}^d$是满足以下条件的任意向量：$\Vert \text{Z}{\Vert }_F^2\ge \tau$ for (P1) 和 ${\text{z}}_i^2\ge \frac{\tau }{d},\forall i$ for (P2)。

2.4 实例规范化

为了防止嵌入空间中的大多数点像之前两个规范化方式中那样被平凡地推向0点，提出的另一个潜在规范化策略是使用实例规范化，其中，每个嵌入数据点的${\ell }_2$范数被约束为等于某个常数。事实上这依然会导致一些数据几何结构的平凡解。具体地说，我们将再次关注SSC的正则化，由此得出以下结果：

定理4

这一问题的最优解必须具有以下性质：对任何${\mathbf{Z}}^{\ast }$中的列${\mathbf{Z}}_{\mathbf{i}}^{\ast }$，存在另一不同的列${\mathbf{Z}}_{\mathbf{j}}^{\ast }(\mathbf{i}\ne \mathbf{j})$使得${\text{Z}}_i^{\ast }=s_{i,j}{\text{Z}}_j^{\ast }$，其中 s i , j ∈ { − 1 , 1 } s_{i,j}\in\{-1,1\} si,j​∈{−1,1}。进而，$\Vert {\text{C}}_i^{\ast }\Vert =1,\forall i$且${\text{C}}_{i,j}\ne 0⟹{\text{Z}}_i^{\ast }=\pm {\text{Z}}_j^{\ast }$。

导致上述结果的原因非常直观，因为给定的点不能自身表出，所以次好的方法是在另一列中拥有自身的精确副本。虽然这一结果更有利于成功的聚类，因为嵌入空间中靠近的点被鼓励“合并”为单个点，但会产生许多畸形的几何结构。具体而言，对表示中的“不同”点的数量没有任何限制，但必须小于N/2。因此，最优的${\mathbf{C}}^{\ast }$矩阵还可以包含affinity graph中任意数量（在$[1,N/2]$范围内）的连接分量，从而某种程度上产生任意的谱聚类。

具有退化几何结构的简单网络示例

在第2.2节中，我们讨论了如果Encoder-Decoder具有高表达性，那么最佳嵌入将如何拟合我们在理论分析中给出的解。在这里，我们展示了使用相对简单的Encoder-Decoder也会发生平凡的嵌入。具体地，有两层仿射映射（即线性加偏置）、隐藏层使用ReLU的Encoder-Decoder可以分别写成：

其中，线性算子（W矩阵）可以选择性地受到约束（例如，对于卷积运算，W可能需要是Toeplitz矩阵）。现在，如果我们有嵌入维度$d$等于数据维度$d_x$，我们会说，如果存在参数$({\mathbf{W}}^2,{\mathbf{W}}^1）$，线性算子可以表示$\mathbf{X}$上的恒等式，使得${\mathbf{W}}^2{\mathbf{W}}^1\mathbf{X}=\mathbf{X}$。注意，如果（14）中的结构全连接(full-connected) 意味着对于一般$\mathbf{X}$，隐藏单元的数量大于或等于KaTeX parse error: Expected group after '_' at position 5: d=dx_̲（如果$\mathbf{X}$为低秩，则隐藏单元的数量可以更少），而如果线性算子为卷积，则我们只需要一个卷积通道（核为$\delta$的函数）。在此情况下，我们得到以下结论：

命题

考虑在（14）形式的编码器和解码器。给定任何数据集$\mathbf{X}$，如果编码器/解码器中的线性算子都可以表示$\mathbf{X}$上的恒等式，则对任何$\tau >0$，都存在满足以下条件的网络参数$({\mathcal{W}}_e,{\mathcal{W}}_d)$：

1. 嵌入点之间任意靠近
2. 嵌入点的范数任意接近$\tau$
3. 嵌入点可被解码器精确恢复
   
   从上面的简单示例中，我们可以看出，即使使用非常简单的网络架构（即，不一定具有高度的表达能力），仍然可能有任意逼近全局最优解的解，在这个意义上，点可以在嵌入空间中任意接近彼此，其范数任意接近任何$\tau$，同时仍然具有$\mathbf{X}$的完美重构。

图2:YaleB、COIL100和ORL数据集上的聚类精度结果，包括（虚线表示）和不包括（实线表示）Ji等人提出的C矩阵后处理步骤。Raw Data表示对原始数据进行聚类。Autoenc only表示直接从未加$F(\mathbf{Z},\mathbf{C})$项训练的自动编码器得到的特征进行聚类。Full SEDSC表示使用第目标(3)所定义的的完整AE模型。