入门：“Sparse Subspace Clustering: Algorithm, Theory, and Applications”辅助阅读+总结

稀疏子空间聚类：算法、理论和应用

摘要：许多现实世界的问题都涉及高维数据的集合，例如图像、视频、文本和网络文档、DNA 微阵列数据等。通常，此类高维数据靠近与数据所属的多个类或类别相对应的低维结构。在本文中，我们提出并研究了一种称为稀疏子空间聚类的算法，用于对位于低维子空间并集中的数据点进行聚类。关键思想是，在一个数据点用其他点表示的无限多种可能的表示中，稀疏表示对应于从同一子空间中选择几个点。这激发了求解稀疏优化程序，其解决方案在谱聚类框架中使用，以推断数据到子空间的聚类。由于求解稀疏优化程序通常是 NP 困难的，因此我们考虑凸松弛并表明，在子空间排列和数据分布的适当条件下，所提出的最小化程序成功地恢复了所需的稀疏表示。所提出的算法是有效的并且可以处理子空间交叉点附近的数据点。所提出的算法相对于现有技术的另一个关键优势是，通过将数据模型合并到稀疏优化程序中，它可以直接处理数据干扰，例如噪声、稀疏外围条目和丢失条目。我们通过对合成数据以及运动分割和人脸聚类这两个现实问题的实验证明了所提出算法的有效性。

“Index Terms索引术语—High-dimensional data, intrinsic low-dimensionality, subspaces, clustering, sparse representation, ‘1-minimization, convex programming, spectral clustering, principal angles, motion segmentation, face clustering” 高维数据、内在低维、子空间、聚类、稀疏表示、‘1-最小化、凸规划、谱聚类、主轴、运动分割、人脸聚类

“1 ITRODUCTION” 介绍

高维数据在机器学习、信号和图像处理、计算机视觉、模式识别、生物信息学等许多领域中无处不在。例如，图像由数十亿像素组成，视频可以包含数百万帧、文本和网络文档与数十万个特征等相关联。数据的高维不仅增加了算法的计算时间和内存需求，而且由于噪声效应和样本数量不足而对其性能产生不利影响。环境空间维度，通常称为“维度诅咒”[1]。然而，高维数据通常位于低维结构中，而不是均匀分布在周围空间中。恢复数据中的低维结构不仅有助于降低算法的计算成本和内存需求，还可以减少数据中高维噪声的影响，提高推理、学习和识别任务的性能。

事实上，在许多问题中，类或类别中的数据可以很好地用高维环境空间的低维子空间来表示。例如，视频中刚性移动物体的特征轨迹 [2]、不同照明下的主体面部图像 [3] 以及具有不同旋转、平移和粗细的手写数字的多个实例 [4]在环境空间的低维子空间中。因此，来自多个类或类别的数据集合位于低维子空间的并集中。子空间聚类（参见[5]和其中的参考文献）是指根据其底层子空间分离数据的问题，并在图像处理（例如图像表示和压缩[6]）和计算机视觉（例如图像分割[ 7]、运动分割[8]、[9]和时间视频分割[10]），如图1和图2所示。由于子空间中的数据通常是任意分布的，而不是围绕质心分布，因此利用每个簇中数据的空间邻近性的标准聚类方法[11]通常不适用于子空间聚类。因此，需要考虑数据的多子空间结构的聚类算法。

“1.1 Prior Work on Subspace Clustering”  子空间聚类的先前工作

现有算法可分为四大类：迭代方法、代数方法、统计方法和基于谱聚类的方法。

“Iterative methods”迭代方法。迭代方法，例如 K-subspaces [12]、[13] 和中值 K-flats [14]，在将点分配给子空间和将子空间拟合到每个簇之间交替。这种方法的主要缺点是它们通常需要知道子空间的数量和维度，并且它们对初始化敏感。

“Algebraic approaches.”代数方法。基于因式分解的代数方法（例如[8]、[9]、[15]）通过对从数据矩阵分解构建的相似性矩阵的条目进行阈值化来找到初始分割。当子空间独立时，这些方法可证明是正确的，但当违反此假设时，这些方法就会失败。此外，它们对数据中的噪声和异常值很敏感。代数几何方法，例如广义主成分分析[10]、[16]，用多项式拟合数据，该多项式在一点处的梯度给出了包含该点的子空间的法向向量。虽然GPCA可以处理不同维度的子空间，但它对噪声和异常值很敏感，并且其复杂度随着子空间的数量和维度呈指数增长。

“Statistical methods. ”统计方法。迭代统计方法，例如概率 PCA [17]、多阶段学习 [18] 或 [19] 的混合，假设每个子空间内的数据分布是高斯分布，并通过应用期望最大化在数据聚类和子空间估计之间交替。这些方法的主要缺点是它们通常需要知道子空间的数量和维度，并且对初始化敏感。

鲁棒的统计方法，例如随机样本共识（RANSAC）[20]，将维度 d 的子空间拟合到随机选择的 d 点子集，直到内点的数量足够大。然后删除内点，并重复该过程以找到第二个子空间，依此类推。 RANSAC可以处理噪声和异常值，并且不需要知道子空间的数量。然而，子空间的维数必须已知且相等。此外，算法的复杂度随着子空间的维数呈指数增长。

信息论统计方法，例如凝聚有损压缩（ALC）[21]，寻找数据分割，以最小化用退化高斯混合拟合点所需的编码长度直至给定的失真。由于这个最小化问题是 NP 困难的，因此通过首先假设每个点形成自己的组，然后迭代地合并组对以减少编码长度来找到次优解决方案。 ALC 可以处理数据中的噪声和异常值。虽然原则上不需要知道子空间的数量和维数，但算法找到的子空间的数量取决于失真参数的选择。此外，对于凝聚算法的最优性也没有理论证明。

“Spectral clustering-based methods. ”基于谱聚类的方法。基于局部谱聚类的方法，例如局部子空间亲和力（LSA）[22]、局部线性流形聚类[23]、谱局部最佳拟合平面[24]和[25]，使用每个点周围的局部信息来构建相似性点对之间。然后通过将谱聚类[26]、[27]应用于相似度矩阵来获得数据的分割。这些方法在处理两个子空间交集附近的点时存在困难，因为一个点的邻域可能包含来自不同子空间的点。此外，它们对计算每个点的局部信息的邻域大小的正确选择很敏感。

基于全局谱聚类的方法试图通过使用全局信息在数据点之间建立更好的相似性来解决这些问题。谱曲率聚类（SCC）[28]使用多向相似性来捕获仿射子空间内点集合的曲率。 SCC可以处理噪声数据，但需要知道子空间的数量和维度，并假设子空间具有相同的维度。此外，构建多向相似性的复杂性随着子空间维度的增加而呈指数增长，因此，在实践中，采用采样策略来降低计算成本。

利用稀疏[29]、[30]、[31]和低秩[32]、[33]、[34]恢复算法的进步，稀疏子空间聚类（SSC）[35]、[36]、[37 ]、低秩恢复 (LRR) [38]、[39]、[40] 和低秩子空间聚类 (LRSC) [41] 算法将聚类问题视为寻找稀疏或低秩表示之一数据本身的字典中的数据。然后使用相应的全局优化算法的解来构建相似图，从中获得数据的分割。相对于大多数最先进的算法，这些方法的优点是它们可以处理数据中的噪声和异常值，并且它们不需要先验地知道维度和原则上子空间的数量。

“1.2 Paper Contributions”  论文贡献

在本文中，我们提出并研究了一种基于稀疏表示技术的算法（称为 SSC），用于对位于低维子空间并集中的数据点集合进行聚类。该算法背后的基本思想是我们所说的数据的自我表达属性，它表明子空间并集中的每个数据点都可以有效地表示为其他点的线性或仿射组合。这种表示通常不是唯一的，因为可以通过无数种方式将数据点表示为其他点的组合。关键的观察结果是，数据点的稀疏表示理想地对应于其自身子空间中的几个点的组合。这激发了求解全局稀疏优化程序，其解决方案用于谱聚类框架中以推断数据的聚类。因此，我们可以克服基于局部谱聚类的算法的问题，例如选择正确的邻域大小和处理子空间交集附近的点，因为对于给定的数据点，稀疏优化程序会自动选择一些其他不一定接近它但属于同一子空间的点。

由于求解稀疏优化程序通常是 NP 困难的，因此我们考虑其“l1 松弛”。我们表明，在子空间排列和数据分布的温和条件下，所提出的“l1-最小化程序”恢复了所需的解决方案，保证了算法的成功。我们的理论分析将稀疏表示理论扩展到多子空间设置，其中子空间中的点数是任意的，可能远大于其维度。与块稀疏恢复问题[42]、[43]、[44]、[45]、[46]、[47]不同，其中子空间的基是已知并给定的，我们没有子空间的基，也没有我们知道哪些数据点属于哪个子空间，这使我们的案例更具挑战性。我们只有数据点矩阵给出的子空间并集的稀疏字典。

所提出的‘l1-最小化程序可以使用凸编程工具[48]、[49]、[50]有效地求解，并且不需要初始化。通过将数据损坏或子空间模型合并到稀疏优化程序中，我们的算法可以直接处理数据中的噪声、稀疏外围条目和缺失条目以及更一般的仿射子空间类。最后，通过实验结果，我们表明我们的算法在运动分割（见图 1）和面部聚类（见图 2）这两个现实问题上优于最先进的子空间聚类方法。

“Paper organization. ”论文组织。在第 2 节中，我们激发并介绍了用于在线性子空间并集中对数据点进行聚类的 SSC 算法。在第 3 节中，我们概括了该算法来处理数据中的噪声、稀疏外围条目和缺失条目以及更一般的仿射子空间类。在第 4 节中，我们研究了l1-最小化程序恢复所需的数据点稀疏表示的理论条件。在第 5 节中，我们讨论了相似图的连通性，并提出了一个正则化项来增加每个子空间中点的连通性。在第 6 节中，我们通过合成数据的实验验证了我们的理论分析。在第 7 节中，我们将 SSC 的性能与运动分割和人脸聚类这两个现实问题上的最新技术进行比较。最后，第 8 节总结了本文。

“2 SPARSE SUBSPACE CLUSTERING” 稀疏子空间聚类

在本节中，我们介绍使用稀疏表示技术对多子空间数据集合进行聚类的 SSC 算法。我们激发并制定了完美位于线性子空间并集中的数据点的算法。在下一节中，我们将概括该算法来处理数据干扰，例如噪声、稀疏的外围条目和缺失条目，以及更一般的仿射子空间类。

令{Sl}l=1n为维度为 {dl}l=1n 的 R D 的 n 个线性子空间的排列。考虑给定的 N 个无噪声数据点{yi}i=1N 的集合，它们位于 n 个子空间的并集中。将包含所有数据点的矩阵Y表示为

其中 Yl ∈R D x Nl是位于 Sl 中的 Nl >dl 点的 dl 列矩阵，Γ∈ R N x N 是未知的置换矩阵。我们假设我们先验不知道子空间的基，也不知道哪些数据点属于哪个子空间。子空间聚类问题是指找到子空间的数量、维度、每个子空间的基础以及对 Y 中的数据进行分割的问题。

为了解决子空间聚类问题，我们提出了一种包含两个步骤的算法。在第一步中，对于每个数据点，我们找到属于同一子空间的几个其他点。为此，我们提出了一种全局稀疏优化程序，其解决方案将有关数据点的成员资格的信息编码到每个点的底层子空间。在第二步中，我们在谱聚类框架中使用这些信息来推断数据的聚类。

“2.1 Sparse Optimization Program” 稀疏优化方案

我们提出的算法利用了我们所说的数据的自我表达特性，即子空间并集中的每个数据点都可以通过数据集中其他点的组合来有效地重建。

更准确地说，每个数据点 yi ∈∪l=1nSl 可以写为

其中 ci ≡ [ci1 ci2 ... ciN]T和约束 cii = 0 消除了将点写为自身线性组合的简单解决方案。换句话说，数据点Y的矩阵是一个自表达字典，其中每个点都可以写成其他点的线性组合。

然而，yi 在字典 Y 中的表示通常不是唯一的。这是因为子空间中数据点的数量通常大于其维度，即 Nl>dl。因此，每个 Yl 以及 Y 都有一个非平凡的零空间，从而产生每个数据点的无限多个表示。

我们提出的算法中的关键观察是，在（2）的所有解中，存在一个稀疏解 ci，其非零条目对应于来自与 yi 相同子空间的数据点。我们将这种解决方案称为子空间稀疏表示。

更具体地说，位于 dl 维子空间 Sl 中的数据点 yi 可以写成从 Sl 开始的大体方向上 dl 个其他点的线性组合。因此，理想情况下，数据点的稀疏表示会从同一子空间中查找点，其中非零元素的数量对应于基础子空间的维度。

对于具有无限多个解的方程组（例如 (2)），可以通过最小化目标函数（例如解的 lq 范数）来限制解集

q 的不同选择对得到的解有不同的影响。通常，通过将 q 的值从无穷大减小到零，解的稀疏性会增加，如图 3 所示。 q = 0 的极端情况对应于一般的 NP 困难问题 [51]，即寻找给定点的最稀疏表示，因为“0-范数”计算解的非零元素的数量。由于我们有兴趣在字典 Y 中有效地找到 yi 的非平凡稀疏表示，因此我们考虑最小化“0-范数”的最紧凸松弛，即

它可以使用凸编程工具[48]、[49]、[50]有效地求解，并且已知更喜欢稀疏解[29]、[30]、[31]。

我们还可以针对所有数据点 i = 1;...;N  重写稀疏优化程序 (4)的矩阵形式为

其中 C = [c1 c2 ... cN] ∈ R N x N 是矩阵，其第 i 列对应于稀疏表示yi、ci 和 diag(C) ∈ R N 是 C 对角线元素的向量。

理想情况下，（5）的解对应于数据点的子空间稀疏表示，我们接下来用它来推断数据的聚类。在第 4 节中，我们研究了保证 (5) 中的凸优化程序恢复每个数据点的子空间稀疏表示的条件。

“2.2 Clustering Using Sparse Coefficients” 使用稀疏系数进行聚类

在求解（5）中提出的优化程序后，我们获得每个数据点的稀疏表示，其非零元素理想地对应于来自同一子空间的点。该算法的下一步是使用稀疏系数将数据推断为不同的子空间。

为了解决这个问题，我们构建了一个加权图G=(V,ε,W)，其中 V 表示图中对应于 N 个数据点的 N 个节点的集合，ε ⊆ V x V 表示节点之间的边的集合。 W ∈ R N x N 是表示边权重的对称非负相似度矩阵，即节点 i 通过权重等于 wij 的边连接到节点 j。理想的相似度矩阵 W ，即理想的相似度图 G ，是其中对应于来自同一子空间的点的节点彼此连接并且对应于不同子空间中的点的节点之间不存在边的矩阵。

请注意，稀疏优化程序理想地恢复为每个点的子空间稀疏表示，即其非零元素对应于给定数据点的同一子空间中的点的表示。这提供了对相似性矩阵的立即选择，如 W =|C| + |C|T。换句话说，每个节点 i 通过权重等于 |cij|+|cji| 的边将自身连接到节点 j。对称化的原因是，一般来说，数据点 yi ∈Sl 可以将其自身写成包括yj ∈Sl 在内的一些点的线性组合。然而，yj 不一定会在其稀疏表示中选择 yi。通过权重的这种特定选择，如果 yi 或 yj 处于另一个的稀疏表示中，我们可以确保节点 i 和 j 相互连接。

“Algorithm 1 : Sparse Subspace Clustering (SSC) 稀疏子空间聚类

输入：位于 n 个线性子空间{Si}i=1N 并集中的一组点{yi}i=1N 。

1.数据未损坏求解（5），  损坏（13）  

2：将 C 的列标准化。

3：形成一个相似度图，其中N个节点代表数据点。通过 W=|C|+|C|T ,设置节点之间的边上的权重。

4：将谱聚类[26]应用于相似图。

输出：数据分段：Y1;Y2; ...;Yn。

理想情况下，以这种方式构建的相似图具有对应于 n 个子空间的 n 个连通分量，即

其中Wl是Sl中数据点的相似度矩阵。然后，通过将谱聚类 [26] 应用于图 G，将数据聚类到子空间中。更具体地说，我们通过将 K 均值算法 [11] 应用于矩阵的归一化行（其列为 n）来获得数据聚类。图的对称归一化拉普拉斯矩阵的底部特征向量。

注 1. 构建相似图之前的一个可选步骤是将稀疏系数标准化为ci <-- ci/||ci||∞。这有助于更好地处理不同规范的数据点。更具体地说，如果具有大欧氏范数的数据点选择了几个具有小欧氏范数的点，则非零系数的值通常会很大。另一方面，如果具有较小欧氏范数的数据点选择了几个具有较大欧氏范数的点，则非零系数的值通常会很小。由于谱聚类更强调保持图中更强的连接，因此通过归一化步骤，我们确保所有节点的最大边权重具有相同的规模。

算法1总结了SSC算法。请注意，实验结果中将显示的谱聚类的一个优点是，它针对数据点的稀疏表示中的一些错误提供了鲁棒性。换句话说，只要不同子空间中的点之间的边缘很弱，谱聚类就可以找到正确的分割。

注2. 原则上，SSC不需要知道子空间的数量。更具体地说，在第4节的理论结果的条件下，在相似图中，不同子空间中的点之间不会有任何连接。因此，我们可以通过找到图分量的数量来确定子空间的数量，图分量的数量可以通过分析 G 的拉普拉斯矩阵的特征谱来获得[27]。然而，当不同子空间中的点之间存在连接时，应采用其他模型选择技术[53]。

“3 PRACTICAL EXTENSIONS” 实用扩展

在现实世界的问题中，由于测量/过程噪声和临时数据收集技术，数据经常被噪声和稀疏的外围条目损坏。在这种情况下，数据并不完全位于子空间的并集中。例如，在运动分割问题中，由于跟踪器的故障，特征轨迹可能会被噪声破坏或可能具有较大误差的条目[21]。同样，在人脸聚类中，图像可能会因镜面反射、投射阴影和遮挡等错误而受到损坏 [54]。另一方面，数据点可能会丢失条目，例如，当跟踪器由于遮挡而失去对视频中某些特征点的跟踪时[55]。最后，数据可能位于仿射子空间的并集中，这是一种更通用的模型，其中包括作为特定情况的线性子空间。

在本节中，我们概括了 SSC 算法，用于对完美位于线性子空间并集中的数据进行聚类，以应对上述挑战。与最先进的方法不同，最先进的方法需要首先运行单独的算法来纠正数据中的错误[21]，[55]，我们通过将损坏模型合并到稀疏优化中来在统一的框架中处理这些问题程序。因此，稀疏系数再次将有关数据成员资格的信息编码到子空间，如之前一样，这些信息被用在谱聚类框架中。

“3.1 Noise and Sparse Outlying Entries”  噪声和稀疏外围条目

在本节中，我们考虑对受到稀疏外围条目和噪声污染的数据点进行聚类。让

是通过破坏无错误点 y0i 获得的第 i 个数据点，该点完全位于子空间中，具有稀疏外围条目 e0 i ∈R D 的向量，该向量仅具有一些大的非零元素，即 ||e0i ||<k，对于某个整数 k，并且具有噪声z0 i ∈R D ，其范数对于某些 δ>0 的范围为 ||z0i||2<δ。由于无差错数据点完全位于子空间的并集中，因此使用自我表达性属性，我们可以根据其他无差错点重建 y0 i ∈Sl

注意，上述方程具有稀疏解，因为 y0 i 可以表示为 Sl 中至多 dl 个其他点的线性组合。使用（7）根据损坏点 yi、稀疏外围条目向量 e0 i 和噪声向量z0 i 重写y0 i ，并将其代入（8），我们得到

其中向量 ei ∈R D 和 zi ∈R D 定义为

由于 (8) 具有稀疏解，因此 ci、ei 和 zi 也分别对应于稀疏外围条目和噪声的向量。更准确地说，当一些 cij 非零时， ei 是稀疏外围条目的向量，因为它是（10）中的一些外围条目向量的线性组合。类似地，当一些 cij 非零并且不具有显着大的幅度时，zi 是噪声向量，因为它是（11）中的一些噪声向量的线性组合。

将 ei 和 zi 分别收集为矩阵 E 和 Z 的列，我们可以将(9)以矩阵形式重写为

我们的目标是找到(12)的解(C,E,Z)，其中 C 对应于稀疏系数矩阵，E 对应于稀疏外围条目矩阵，Z 是噪声矩阵。为此，我们建议解决以下优化方案：

其中l1-范数促进了 C 和 E 列的稀疏性，而 Frobenius 范数促进了 Z 列中的小条目。两个参数 e > 0 和 z > 0 平衡了目标函数中的三项。请注意，(13) 中的优化程序相对于优化变量 (C,E,Z) 是凸的，因此可以使用凸编程工具有效地求解。

当数据仅被噪声破坏时，我们可以从（13）中的优化程序中消除E。另一方面，当数据仅被稀疏的外围条目损坏时，我们可以消除（13）中的 Z。然而，在实践中，E 还可以处理由噪声引起的小错误。以下命题建议设置 λz = αz/μz ，λe = αe/μe，其中 αz，αe > 1 且

论文中所有理论结果的证明都在补充材料中提供，可以在计算机协会数字图书馆http://doi.ieeecomputersociety.org/10.1109/TPAMI.2013.57中找到。

Proposition 1. 考虑优化方案(13)。如果没有 Z 项，如果 λe ≤1/μe，则至少存在一个数据点 yl，在最佳解中我们有 (cl,el)=(0,yl)。另外，如果没有 E 项，如果 λz ≤1/μz，则至少存在一个数据点 yl，其中  (cl,el)=(0,yl)。

解决所提出的优化程序后，我们使用 C 构建相似图并使用谱聚类推断数据的聚类。因此，通过将数据的损坏模型合并到稀疏优化程序中，我们可以像以前一样处理损坏数据的聚类，而无需显式运行单独的算法来纠正数据中的错误[21]，[55]。

“3.2 Missing Entries”  缺失条目

我们现在考虑不完整数据的聚类，其中数据点子集的一些条目丢失。请注意，当每个数据点仅丢失一小部分条目时，不完整数据的聚类可以转换为具有稀疏外围条目的数据聚类。更准确地说，可以用随机值填充每个数据点的缺失条目，从而获得具有稀疏外围条目的数据点。然后通过求解（13）并将谱聚类应用于使用获得的稀疏系数构建的图来对数据进行聚类。然而，这种方法的缺点是它忽略了我们知道数据矩阵中缺失条目的位置这一事实。

在某些情况下，可以将缺少条目的数据聚类转换为完整数据的聚类。要了解这一点，请考虑 R D 中的数据点{yi}i=1N 的集合。设 Ji ∈{1,…,D}表示 yi 已知条目的索引，并定义 J ≡∩i=1NJi。因此，对于 J 中的每个索引，所有数据点都有已知的条目。当 J 的大小（用 |J| 表示）相对于环境空间维度 D 不小时，我们可以将数据以及原始子空间投影到由 J 索引的单位矩阵的列跨越的子空间中，将SSC算法应用于获得的完整数据。也就是说，我们只能保留Y中由J索引的行，得到完整数据 -Y ∈ R |J| x N 的新数据矩阵，并求解稀疏优化程序(13)。然后，我们可以通过将谱聚类应用于使用稀疏系数矩阵构建的图来推断数据的聚类。请注意，上述方法基于 J 非空的假设。解决当J为空或尺寸较小时缺少条目的子空间聚类问题是未来研究的主题。

“3.3 Affine Subspaces”  仿射子空间

在一些现实世界的问题中，数据位于仿射子空间的并集而不是线性子空间中。例如，运动分割问题涉及位于 3D 仿射子空间 [2]、[55] 联合中的数据聚类。处理这种情况的一种简单方法是忽略数据的仿射结构并像线性子空间的情况一样执行聚类。这是因为 dl 维仿射子空间 Sl 可以被视为包含 Sl 和原点的 （dl+1）维线性子空间的子集。然而，这具有可能增加两个子空间的交集维数的缺点，这在某些情况下可能导致子空间彼此无法区分。例如，x-y 平面中的两条不同的线 x = -1 和 x = +1 在包含原点后形成相同的二维线性子空间，因此变得无法区分。

为了直接处理仿射子空间，我们利用以下事实：维度为​​ dl 的仿射子空间 Sl 中的任何数据点 yi 都可以写成 dl + Sl 中其他点的仿射组合。换句话说，稀疏解

对应于 dl + 1 个属于包含 yi 的 Sl 的其他点。因此，为了对靠近仿射子空间并集的数据点进行聚类，我们建议求解稀疏优化程序

与线性子空间情况的 (13) 相比，它包括额外的线性等式约束。请注意，（16）也可以处理线性子空间，因为线性子空间也是仿射子空间。

“4 SUBSPACE-SPARSE RECOVERY THEORY” 子空间稀疏恢复理论

SSC 算法成功的基本假设是所提出的优化程序恢复每个数据点的子空间稀疏表示，即其非零元素对应于给定点的子空间的表示。在本节中，我们研究对于位于线性子空间并集中的数据点，（4）中的稀疏优化程序恢复数据点的子空间稀疏表示的条件。我们研究了两类子空间排列的恢复条件：独立和不相交的子空间模型[36]。

Definition 1.  如果

则称子空间{Si}i=1n的集合是独立的，其中⊕表示直和运算符。

例如，图 4（左）所示的三个 1D 子空间是独立的，因为它们跨越 3D 空间，并且它们的维度之和也是 3。另一方面，图 4（右）所示的子空间是不独立，因为它们跨越 2D 空间，而它们的维度总和为 3。

Definition 2. 如果每对子空间仅在原点相交，则称子空间{Si}i=1n 的集合是不相交的。换句话说，对于每对子空间，我们都有 dim(Si⊕Sj) = dim(Si) + dim(Sj)。

作为示例，图 4 中所示的两个子空间排列是不相交的，因为每对子空间在原点相交。请注意，基于上述定义，不相交的概念比独立性弱，因为独立子空间模型总是不相交的，而反之则不一定成立。可用于表征两个不相交子空间的一个重要概念是最小主轴角，定义如下：

Definition 3.两个子空间Si和Sj之间的最小主角，记为θij，定义为

请注意，两个不相交的子空间在原点相交，因此它们的最小主角大于零且 cos(θij)∈[0,1)。

“4.1 Independent Subspace Model”  独立子空间模型

在本节中，我们考虑位于独立子空间联合中的数据点，这是许多子空间聚类算法的基础模型。我们表明，（4）中的 l1-最小化程序”以及更一般地，（3）中 q<∞ 的 lq-最小化”总是恢复数据点的子空间稀疏表示。更具体地说，我们展示了以下结果。

Theorem 1. 定理 1. 考虑从维度为 {di}i=1n 的 n 个独立子空间 {Si}i=1n 中提取的数据点集合。令Yi 表示Si 中的 Ni 数据点，其中rank(Yi) = di，并令Yi 表示除Si 之外的所有子空间中的数据点。然后，对于每个 Si 和 Si 中的每个非零 y，lq 最小化程序

对于 q<∞，lq 最小化程序恢复子空间稀疏表示，即 c* ≠ 0 and c*- = 0

请注意，子空间稀疏恢复在对除 rank(Yi) = di 之外的每个子空间中的数据点分布没有任何假设的情况下成立。这是以子空间排列模型的限制性更强为代价的。接下来，我们将证明，对于更一般的不相交子空间，在子空间的相对配置以及每个子空间中数据的分布的适当条件下，（4）中的 l1-最小化恢复子空间稀疏表示数据点。

“4.2 Disjoint Subspace Model” 不相交子空间模型

我们现在考虑更一般的不相交子空间类别，并研究 (4) 中的优化程序恢复每个数据点的子空间稀疏表示的条件。为此，我们考虑 Si 与 ⊕j≠iSj 交集中的向量 x，并当我们将字典限制为 Si 中的数据点时，让 l1-最小化的最优解为

当我们将字典限制为来自除 Si 之外的所有子空间中的点时，我们还让 l1-最小化的最优解为

4. 事实上，ai 和 a-i 依赖于 x、Yi 和 Y-i。由于这种依赖性从上下文中显而易见，因此我们删除了 ai(x,Yi) 和 a-i(x,Y-i) 中的参数。

我们在在线补充材料中表明，如果对于 Si 与 ⊕j≠iSj 交集中的每个非零 x，SSC 算法成功地恢复每个 Si 中数据点的子空间稀疏表示，则 (19 ) 严格小于 (20) 解的 l1-范数，即

更准确地说，我们显示了以下结果。

Thm2. 定理 2. 考虑从维度为 {di}i=1n 的 n 个不相交子空间 {Si}i=1n 中提取的数据点集合。令Yi 表示Si 中的Ni 数据点，其中rank(Yi) = di，并令Y-i 表示除Si 之外的所有子空间中的数据点。l1-最小化

当且仅当 (21) 成立时，l1-最小化恢复 Si 中每个非零 y 的子空间稀疏表示，即 c* ≠ 0 and c*- = 0。

虽然（21）中的充分必要条件保证了通过 l1-最小化程序 成功进行子空间稀疏恢复，但它没有明确显示“l1-最小化程序”成功的子空间排列和数据分布之间的关系。为了建立这样的关系，我们证明了 ||αi||1 ≤ βi，其中 βi 取决于 Si 中数据点的奇异值，以及 ||α-i||1 ≥ β-i，其中 β-i 取决于 Si 与其他子空间之间的子空间角度。然后，充分条件βi < β-i 建立了子空间角度和数据分布之间的关系，在该关系下“l1-最小化”在子空间稀疏恢复中是成功的，因为它意味着

即定理2的条件成立。

Thm3.定理 3. 考虑从维度为 {di}i=1n 的 n 个不相交子空间 {Si}i=1n 中提取的数据点集合。令 Wi 为 Yi 的所有满秩子矩阵~Yi ∈ R D x di 的集合，其中rank(Yi) = di。如果条件

成立，那么对于 Si 中的每个非零 y，(22) 中的 l1-最小化恢复子空间稀疏解，即 c* ≠ 0 and c*- = 0.5

5. 导出范数||Y-i||1,2 表示 Y -i 列的最大l2-范数。

宽松地说，定理 3 中的充分条件表明，如果每个 Si 与任何其他子空间之间的最小主角大于取决于 Si 中的数据分布的某个值，则子空间稀疏恢复成立。当数据点的范数分布奇数时，例如，当 Si 中数据点的最大范数远小于所有其他子空间中数据点的最大范数时，该界限可能相当高。由于数据点缩放时数据的分割不会改变，因此我们可以在将数据点归一化为具有单位欧氏范数后将 SSC 应用于线性子空间。在这种情况下，(24) 中的充分条件简化为

注3. 对于独立子空间，一个子空间与其他子空间的直和的交集是原点，因此(21)中的条件始终成立。因此，根据定理 2，l1-最小化总是恢复独立子空间中数据点的子空间稀疏表示。

注4. (21)中的条件与稀疏恢复文献[56]、[57]、[45]、[58]中的零空间性质密切相关。然而，关键的区别在于，我们只要求（21）中的不等式对于（19）和（20）的最优解成立，而不是任何可行解。因此，虽然许多可行解可能违反不等式，但它仍然适用于最优解，从而保证从定理 2 成功进行子空间稀疏恢复。因此，我们的结果可以被认为是零空间属性到多子空间的推广设置其中每个子空间中的点数是任意的。

“4.3 Geometric Interpretation”  几何解释

在本节中，我们提供（21）和（24）中子空间稀疏恢复条件的几何解释。为此，有必要回顾一下最优解的“l1-范数”之间的关系

以及 B 列的对称凸多胞形[59]。更准确地说，如果我们用 bi 表示 B 的列，并将 B 列的对称凸包定义为

那么 (26) 最优解的 l1-范数对应于最小的 α>0，使得缩放后的多胞形 αP 达到 x [59]。让我们分别用 Pi 和 P-i 表示 Yi 和 Y-i 的对称凸多胞形。那么(21)中的条件具有以下几何解释：

Si 中的子空间稀疏恢复成立当且仅当对于 Si 和 ⊕j≠iSj  交集中的任何非零 x，αPi 在 αP-i 之前达到 x，即，对于较小的α。

如图5左图所示，对于S1和S2⊕S3交点处的x，多胞形αP1先于αP-1 到达x，因此子空间稀疏恢复条件成立。另一方面，当S1和其他子空间之间的主角减小时，如图5中图所示，子空间稀疏恢复条件不成立，因为多胞形αP-1 在αP1之前达到x。另外，如图5右图所示，当S1中的数据分布变得接近退化时，在这种情况下接近与x方向正交的一维子空间，则子空间稀疏恢复条件不成立因为 αP-1 在 αP1 之前到达 x。请注意，（24）中的充分条件将上述多胞形之间的关系明确地转换为子空间角度与数据奇异值之间的关系。

“5 GRAPH CONNECTIVITY” 图连接

在上一节中，我们研究了所提出的“l1-最小化程序”恢复数据点的子空间稀疏表示的条件。因此，在相似度图中，位于不同子空间中的点不会相互连接。另一方面，我们对合成数据和真实数据的广泛实验结果表明，同一子空间中的数据点总是形成图的连通分量，因此，对于 n 个子空间，相似图有 n 个连通分量。 Nasihatkon 和 Hartley [60] 从理论上验证了 2D 和 3D 子空间的同一子空间中的点的连通性。然而，已经表明，对于维度大于或等于4的子空间，在数据的奇数分布下，同一子空间中的点有可能形成图的多个分量。

在本节中，我们考虑稀疏优化程序中的正则化项，该项可促进每个子空间内点的连通性。6我们使用的想法是，如果每个子空间中的数据点在其稀疏表示中从同一子空间中选择一些公共点，然后它们形成相似图的单个组成部分。因此，我们将正则化项添加到稀疏优化程序中

其中 I(.) 表示指示函数，ci 表示 C 的第 i 行。因此，最小化（28）对应于最小化 C [61]、[62]、[63] 的非零行数，即在每个点的稀疏表示中选择一些公共数据点。由于涉及 (28) 的最小化问题通常是 NP 困难的，因此我们将其凸松弛视为

因此，为了增加相似图中同一子空间的数据点的连通性，我们建议解决

其中 r > 0 设置解的稀疏性和图的连通性之间的权衡。图 6 显示了添加此正则化项如何促进在稀疏表示中选择公共点。以下示例演示了使用行稀疏项作为正则化项而不是作为目标函数而不是“l1-范数”的原因。

示例 1. 考虑 IR 2 中的三个一维子空间，如图 7 所示，其中数据点具有单位欧氏范数，并且 S1 和 S2 之间以及 S1 和 S3 之间的角度等于 θ。请注意，在此示例中，(24) 中的充分条件适用于 θ∈（0，Π/2）的所有值。结果，λr = 0 的 (30) 的解恢复了每个数据点的子空间稀疏表示，在本例中由 C1 唯一给出，如图 7 所示。因此，相似度图恰好具有对应于每个子空间中的数据点的三个连通分量。 C2给出了(30)的另一个可行解，如图7所示，其中S1中的点在其表示中从S2和S3中选择点。因此，相似图只有一个连通分量。请注意，对于大范围的子空间角度θ∈（0，4Π/10） 我们有

因此，对于较大的 r 值，即当我们仅最小化 (30) 中目标函数的第二项时，我们无法恢复数据点的子空间稀疏表示。这建议使用具有较小 λr 值的行稀疏正则化器。

“6 EXPERIMENTS WITH SYNTHETIC DATA” 综合数据实验

在第 4 节中，我们表明子空间稀疏恢复的“l1-最小化”的成功取决于子空间之间的主角以及每个子空间中数据的分布。在本节中，我们通过合成数据的实验验证这种关系。

我们考虑嵌入在 D 维环境空间中的三个具有相同维度 d 的不相交子空间{Si}i=13 。为了使问题变得足够困难，以便子空间中的每个数据点也可以重建为其他子空间中点的线性组合，我们生成子空间基 {Ui ∈ R D x d}i=13  ，使得每个子空间位于另外两个子空间，即，rank([U1 U2 U3]) = 2d。此外，我们生成子空间，使得最小主轴角 θ12 和 θ23 等于θ 。因此，我们可以通过改变θ 的值来验证最小主角在子空间稀疏恢复中的效果。

为了研究子空间稀疏恢复中数据分布的影响，我们在每个子空间中随机生成相同数量的数据点 Ng 并更改 Ng 的值。通常，随着子空间中数据点数量的增加，数据接近简并子空间的概率会降低。7

生成与 (θ，Ng) 相关的三个 d 维子空间后，我们为每个数据点求解（4）中的“l1-最小化程序”并测量两个不同的误差。首先，用 ciT ≡ [ci1T ci2T ci3T] 表示 yi ∈ Ski 的稀疏表示，cij 对应于 Sj 中的点，我们通过以下方式测量子空间稀疏恢复误差：

其中求和中的每一项表示来自其他子空间中的点的 ci l1-范数的分数。误差为 0 对应于 yi 仅在其自己的子空间中选择点，而误差等于 1 对应于 yi 从其他子空间中选择点。其次，在使用稀疏系数构建相似图并应用谱聚类之后，我们通过以下方式测量子空间聚类误差：

在我们的实验中，我们将环境空间的维度设置为 D = 50。我们将子空间之间的最小主角更改为 θ∈[6,60] 度并将每个子空间中的点数更改为 Ng ∈[d + 1, 32d]。对于每对 (θ,Ng) ，我们计算 100 次试验（随机生成的子空间和数据点）中（32）和（33）的误差平均值。 d = 4 的结果如图 8 所示。请注意，当 θ 或 Ng 较小时，子空间稀疏恢复误差和聚类误差都很大，正如我们的理论分析所预测的那样。另一方面，当 θ 或 Ng 增大时，误差减小，并且对于 (θ,Ng) 足够大，我们获得零错误。结果还验证了聚类的成功依赖于“l1-最小化”在恢复数据点的子空间稀疏表示方面的成功。请注意，对于较小的 ，当我们增加 Ng 时，子空间稀疏恢复误差很大并且略有减小，而聚类误差则增加。这是因为随着点数的增加，相似图中不同子空间之间的不良边的数量也会增加，使得谱聚类变得更加困难。另请注意，对于 (θ，Ng) 的值，其中子空间稀疏恢复误差为零，即相似图中不同子空间中的点彼此不连接，聚类误差也为零。这意味着，在这种情况下，相似性图恰好具有三个连通分量，即同一子空间中的数据点形成图的单个分量。

“7 EXPERIMENTS WITH REAL DATA” 真实数据实验

在本节中，我们评估 SSC 算法在处理两个现实问题时的性能：分割视频中的多个运动（见图 1）和聚类人脸图像（见图 2）。我们将 SSC 的性能与最先进的子空间聚类算法进行了比较：LSA [22]、SCC [28]、LRR [38] 和 LRSC [41]。

“Implementation details.” 实施细节。我们使用乘子交替方向法（ADMM）框架[50]、[64]实现（13）中的SSC优化算法，在线补充材料中提供了其推导。对于运动分割实验，我们使用优化程序（13）的噪声变化，即没有术语 E，具有仿射约束，并在所有实验中选择 λz=800/μz（ μz 定义在（ 14））。对于人脸聚类实验，我们使用优化程序（13）的稀疏外围条目变体，即没有术语Z，并在所有实验中选择λe=20/μe（μe在（14）中定义） 。还值得一提的是，SSC 使用 ADMM 方法比使用一般内点求解器 [49] 表现更好，后者通常返回许多小的非零系数，从而降低谱聚类结果。

对于最先进的算法，我们使用其作者提供的代码。对于 LSA，我们使用 K = 8 最近邻和维度 d = 4 来拟合局部子空间，进行运动分割，并使用 K = 7 最近邻和维度 d = 5 进行面部聚类。对于 SCC，我们使用维度 d = 3 作为运动分割的子空间，使用 d = 9 进行面部聚类。对于 LRR，我们使用 λ = 4 进行运动分割，使用 λ = 0:18 进行面部聚类。请注意，[38] 中的 LRR 算法与 SSC 类似，将谱聚类应用于直接根据其提出的优化程序的解决方案构建的相似性图。然而，该算法的代码在构建相似图 [40] 之前对低秩解应用了类似于 [65] 的启发式后处理步骤。因此，为了比较稀疏目标函数与低秩目标函数的有效性并研究 LRR 后处理步骤的效果，我们报告了不使用 (LRR) 和使用 (LRR-H) 启发式后处理步骤两种情况的结果。8 LRSC，我们使用[41，引理 1] 中的方法和参数 Γ = 420 进行运动分割，以及 [41，第 4.2 节] 中该方法的 ALM 变体，参数为 α = 3r = 0.5 * (1.25/σ1(Y))2、γ = 0:008 和 ρ = 1:5，用于面部聚类。最后，由于 LSA 和 SCC 需要先验地知道子空间的数量，并且在噪声环境中根据图拉普拉斯算子的特征谱估计子空间的数量通常是不可靠的，为了进行公平的比较，我们将子空间的数量提供为所有算法的输入。

“Datasets and some statistics. ‘‘数据集和一些统计数据。对于运动分割问题，我们考虑 Hopkins 155 数据集 [66]，它由 155 个具有 2 或 3 个运动的视频序列组成，对应于每个视频中的 2 或 3 个低维子空间 [2]、[67]。对于人脸聚类问题，我们考虑扩展耶鲁 B 数据集 [68]，它由 38 个人类受试者的人脸图像组成，其中每个受试者的图像位于低维子空间中 [3]。

在详细描述每个问题并展示实验结果之前，我们提供了两个数据集的一些统计数据，有助于更好地理解子空间聚类的挑战和不同算法的性能。首先，我们计算每对子空间的最小主轴，在运动分割问题中对应于视频中的一对运动，在人脸聚类问题中对应于一对主体。然后，我们计算最小主角低于某个值（范围从 0 到 90 度）的子空间对的百分比。图 9（左）显示了两个数据集的相应图表。如图所示，两个数据集中的子空间都具有相对较小的主轴角。在 Hopkins-155 数据集中，子空间之间的主角始终小于 10 度，而在 Extended Yale B 数据集中，子空间之间的主角在 10 到 20 度之间。其次，对于每一对子空间，我们计算在另一个子空间中具有一个或多个 K 最近邻的数据点的百分比。图 9（右）显示了每个数据集中所有可能的子空间对的平均百分比。如图所示，在 Hopkins-155 数据集中，对于几乎所有数据点，它们的几个最近邻居都属于同一子空间。另一方面，对于扩展耶鲁B数据集，有相对大量的数据点，其最近邻来自另一个子空间。随着最近邻居数量的增加，这个百分比迅速增加。因此，从图 9 中的两个图中，我们可以得出结论，在 Hopkins 155 数据集中，挑战在于子空间具有较小的主角，而在 Extended Yale B 数据集中，除了子空间之间的主角较小之外，挑战在于子空间中的数据点与其他子空间非常接近。

“7.1 Motion Segmentation”  运动分割

运动分割是指将多个刚性运动物体的视频序列分割成多个时空区域的问题，这些区域对应于场景中的不同运动（见图1）。这个问题通常 提取和跟踪一组 N 个视频的帧 f = 1,…,F的特征点 {xfi ∈ R2}i=1N 来解决。每个数据点 yi 也称为特征轨迹，对应视频中特征点 xfi 堆叠得到的 2F 维向量：

运动分割是指根据这些特征轨迹的基本运动来分离这些特征轨迹的问题。在仿射投影模型下，与单个刚性运动相关的所有特征轨迹都位于维度最多为 3 的 IR 2F 仿射子空间中，或者等效地位于维度最多为 4 的 IR 2F 线性子空间中 [2]，[ 67]。因此，n 个刚性运动的特征轨迹位于 IR 2F 的 n 个低维子空间的并集中。因此，运动分割简化为子空间联合中数据点的聚类。

在本节中，我们评估 SSC 算法的性能以及针对运动分割问题的最先进的子空间聚类方法的性能。为此，我们考虑由 155 个视频序列组成的 Hopkins 155 数据集 [66]，其中 120 个视频有两个动作，35 个视频有三个动作。平均而言，在数据集中，每个两个运动序列具有 N = 266 个特征轨迹和 F = 30 帧，而每个三个运动序列具有 N = 398 个特征轨迹和 F = 29 帧。图 10 的左图显示了数据集中几个运动的奇异值。请注意，前四个奇异值非零，其余奇异值非常接近于零，证实了每个运动的基础线性子空间的四维性。9此外，它表明每个视频的特征轨迹可以可以很好地建模为几乎完全位于维度最多为 4 的线性子空间的并集中的数据点。

当我们使用原始2F维特征轨迹和当我们使用PCA将数据投影到4n维子空间（n是子空间的数量）时，将子空间聚类算法应用于数据集的结果分别如表1和表2所示。根据结果​​，我们得出以下结论：

• 在这两种情况下，SSC 都获得了较小的聚类误差，优于其他算法。这表明不同运动子空间在主轴方面的分离以及每个运动子空间中特征轨迹的分布足以使稀疏优化程序成功，从而实现聚类。括号内的数字显示了未对相似性矩阵进行归一化的 SSC 的聚类误差，即没有算法 1 中的步骤 2。请注意，如备注 1 中所述，归一化步骤有助于改善聚类结果。然而，这种改进很小（大约 0.5%），即无论有没有 C 后处理，SSC 都表现良好。

• 由于不对其系数矩阵进行后处理，LRR 比其他算法具有更高的误差。另一方面，低秩系数矩阵的后处理显着提高了聚类性能（LRR-H）。

• LRSC 尝试为数据找到无噪声字典，同时找到其低秩表示。这有助于改进 LRR。另请注意，LRSC 的误差高于[41]中报告的误差。这是因为 [41] 使用了 [32] 中错误的 compacc.m 函数来计算误差。

• 使用2F维特征轨迹或4n维PCA投影时，不同算法的聚类性能接近。这是因为视频中 n 个运动的特征轨迹几乎完全位于 2F 维环境空间的 4n 维线性子空间中。因此，使用 PCA 投影到 4n 维子空间可以保留子空间和数据的结构，因此，对于每种算法，表 1 中的聚类误差接近表 2 中的误差。

在图 11 中，我们展示了正则化参数 λz = αz/μz 对整个 Hopkins 155 数据集上 SSC 聚类性能的影响。请注意，使用 2F 维数据和 4n 维数据时，SSC 的聚类误差作为 αz 的函数遵循类似的模式。此外，对于大范围的 z 值，这两种情况下的聚类误差均小于 2.5%。

最后，请注意表 1 和表 2 中的 SSC 结果与 [35] 中报告的结果不一致。这主要是由于在[35]中我们使用随机投影进行降维，而这里我们使用PCA或原始2F维数据。此外，在[35]中我们使用CVX求解器来计算子空间稀疏表示，而这里我们使用ADMM求解器。另外，请注意，我们已将 4n 维数据情况下的 LSA 整体聚类误差从 [66] 和 [35] 中报告的 4.94% 提高到 4.52%。这是由于这里使用 K = 8 最近邻而不是[66]中的 K = 5。

“7.2 Face Clustering”  人脸聚类

给定以固定姿势和变化光照获取的多个主体的面部图像，我们考虑根据主体对图像进行聚类的问题（见图2）。研究表明，在朗伯假设下，具有固定姿势和变化照明的主体的图像接近于 9 维的线性子空间 [3]。因此，多个主体的面部图像的集合接近于 9D 子空间的并集。

在本节中，我们评估 SSC 的聚类性能以及扩展耶鲁 B 数据集 [68] 上最先进的方法。该数据集由 n = 38 个人的 192 x 168 像素裁剪面部图像组成，其中每个受试者在不同照明条件下获取的 Ni = 64 正面面部图像。为了降低所有算法的计算成本和内存需求，我们将图像下采样到 48×42 像素，并将每个 2,016D 矢量化图像视为一个数据点，因此 D = 2,016。图 10 中的右图显示了数据集中多个受试者的数据点的奇异值。请注意，奇异值曲线在 9 附近有一个拐点，证实了每个受试者的面部数据的近似 9 维性。此外，奇异值逐渐衰减到零，表明数据被错误损坏。因此，n 个受试者的面部图像可以建模为靠近 9D 子空间并集的损坏数据点。

为了研究受试者数量对不同算法聚类性能的影响，我们设计了以下实验设置：我们将 38 个受试者分为四组，其中前三组对应于受试者 1 至 10、11 至 20、21到 30，第四组对应于科目 31 到 38。对于前三组中的每一组，我们考虑 n ∈{2，3， 5， 8， 10 } 受试者的所有选择，对于最后一组，我们考虑 n ∈{2，3， 5， 8}的所有选择，最后，我们对每个试验（即每组 n 个受试者）应用聚类算法。

“7.2.1 Applying RPCA Separately on Each Subject” 对每个主题分别应用 RPCA

如图 10（右）中人脸数据的 SVD 图所示，人脸图像并不完美地位于线性子空间中，因为它们被错误破坏了。事实上，这些误差对应于面部图像中的投射阴影和镜面反射，并且可以建模为稀疏的外围条目。因此，子空间聚类算法有效处理稀疏损坏数据非常重要。

为了验证人脸损坏是由于稀疏的外围错误造成的这一事实，并显示在聚类时处理损坏的重要性，我们从以下实验开始。我们应用鲁棒主成分分析（RPCA）算法[32]来删除每个主题中面部数据的稀疏外围条目。请注意，在实践中，我们事先不知道数据的聚类，因此无法将 RPCA 应用于每个主题的面部。然而，正如我们将要展示的，这个实验说明了人脸聚类的一些挑战，并验证了有关不同算法性能的几个结论。

表 3 显示了将 RPCA 应用于每个主题中的数据点并删除稀疏的外围条目（即，将数据点带回其低维子空间后）的不同算法的聚类误差。根据结果​​，我们得出以下结论：

• 对于不同数量的受试者，SSC 的聚类误差非常接近于零，这表明如果人脸图像没有损坏，SSC 可以很好地处理人脸聚类。换句话说，虽然不同子空间中的数据彼此非常接近，如图 9（右）所示，但 SSC 的性能更依赖于子空间之间的主角，虽然子空间很小，对于 SSC 的成功来说足够大。

• LRR 和 LRSC 算法还具有较低的聚类误差（LRSC 获得零误差），显示了在聚类性能中去除稀疏异常值的有效性。另一方面，虽然 LRR-H 对于 2、3 和 5 个受试者具有较低的聚类误差，但对于 8 和 10 个受试者具有相对较大的误差，这表明对获得的低秩系数矩阵进行后处理步骤并不总能改善 LRR 的结果。

• 对于LSA和SCC，聚类误差比较大，并且误差随着受试者数量的增加而增大。这是因为，如图 9（右）所示，对于人脸图像，每个数据点的邻域都包含属于其他对象的点，此外，来自其他对象的邻居数量随着我们的增加而增加科目数量。

“7.2.2 Applying RPCA Simultaneously on All Subjects”  对所有受试者同时应用 RPCA

在实践中，我们不能对每个主题中的数据单独应用RPCA，因为聚类是未知的。在本节中，我们通过在聚类之前将 RPCA 算法应用于收集每个试验的所有数据点来处理数据中的稀疏外围条目。结果如表4所示，从中我们得出以下结论：

• 对于所有不同数量的受试者，SSC 的聚类误差都很低。具体来说，SSC 对于 2 个和 10 个受试者的数据点聚类分别获得 2.09% 和 11.46%。

• 同时对所有数据点应用 RPCA 可能不如分别对每个受试者的数据点应用 RPCA 有效。这是因为 RPCA 倾向于将数据点放入一个公共的低秩子空间中，这可能会导致子空间之间的主角减小并减小不同主题中数据点之间的距离。这可以解释所有聚类算法的聚类误差相对于表3中的结果的增加。

“7.2.3 Using Original Data Points”  使用原始数据点

最后，我们将聚类算法应用于原始数据点，而不对数据进行预处理。结果如表5所示，从中我们得出以下结论：

• SSC 算法对所有数量的受试者都获得了较低的聚类误差，对于 2 名受试者和 10 名受试者分别获得了 1.86% 和 10.94% 的聚类误差。事实上，该误差比对所有数据点应用 RPCA 时的误差要小。这是因为 SSC 通过稀疏外围条目直接将数据的损坏模型合并到稀疏优化程序中，使其能够对损坏的数据执行聚类。

• 虽然LRR也有正则化项来处理损坏的数据，但聚类误差相对较大，尤其是随着受试者数量的增加。这可能是因为每个数据点的损坏与 LRR 正则化项之间通常没有明确的关系 [38]。另一方面，LRR-H 对低秩系数矩阵的后处理步骤有助于显着降低聚类误差，尽管它比 SSC 误差大。

• 由于 LRSC 尝试恢复无错误的数据点，同时找到其低秩表示，因此它获得的错误比 LRR 更小。

• LSA 和 SCC 没有明确的方法来处理损坏的数据。再加上每个主体的面部图像在其他主体中具有相对大量的邻居，如图 9（右）所示，导致这些算法的性能较低。

“7.2.4 Computational Time Comparison The average computational time of each” 计算时间比较

图 12 显示了每种算法的平均计算时间与受试者数量（或等效的数据点数量）的函数关系。请注意，SCC 的计算时间远远高于其他算法。这是因为 SCC 的复杂性在子空间维度上呈指数增长，在本例中为 d = 9。另一方面，SSC、LRR 和 LRSC 使用快速高效的凸优化技术，其中使其计算时间低于其他算法。在线补充材料中提供了确切的计算时间。

“8 CONCLUSIONS AND FUTURE WORK”  结论和未来工作

我们研究了对位于或接近低维子空间并集的数据点集合进行聚类的问题。我们提出了一种基于稀疏表示技术的子空间聚类算法，称为SSC，该算法在其他点的字典中找到每个点的稀疏表示，使用稀疏系数构建相似图，并使用谱聚类获得数据的分割。我们表明，在子空间排列和数据分布的适当条件下，该算法成功地恢复了所需的数据点稀疏表示。该算法的一个关键优点是能够通过将相应的模型合并到稀疏优化程序中来直接处理数据干扰，例如噪声、稀疏的外围条目和缺失条目，以及更一般的仿射子空间类。对真实数据（例如视频中的人脸图像和运动）的实验表明了我们算法的有效性及其相对于现有技术的优越性。

我们目前正在研究的有趣的研究途径包括在存在噪声、稀疏外围条目和数据中缺失条目的情况下子空间稀疏恢复的理论分析。正如我们对合成数据和真实数据的大量实验所示，每个子空间中的点通常形成相似图的单个组成部分。在概率框架中对同一子空间中的点的相似图的连通性进行理论分析将为这一观察提供更好的理解。最后，使求解稀疏优化程序和谱聚类的两个步骤适用于非常大的数据集，是未来工作的一个有趣且实用的主题。

总结：

稀疏子空间聚类（SSC）[35]、[36]、[37 ]、低秩恢复 (LRR) [38]、[39]、[40] 和低秩子空间聚类 (LRSC) [41] 算法将聚类问题视为寻找稀疏或低秩表示之一数据本身的字典中的数据。然后使用相应的全局优化算法的解来构建相似图，从中获得数据的分割。相对于大多数最先进的算法，这些方法的优点是它们可以处理数据中的噪声和异常值，并且它们不需要先验地知道维度和原则上子空间的数量。

SSC：

令{Sl}l=1n为维度为 {dl}l=1n 的 R D 的 n 个线性子空间的排列。考虑给定的 N 个无噪声数据点{yi}i=1N 的集合，它们位于 n 个子空间的并集中。将包含所有数据点的矩阵Y表示为

其中 Yl ∈R D x Nl是位于 Sl 中的 Nl >dl 点的 dl 列矩阵，Γ∈ R N x N 是未知的置换矩阵。我们假设我们先验不知道子空间的基，也不知道哪些数据点属于哪个子空间。子空间聚类问题是指找到子空间的数量、维度、每个子空间的基础以及对 Y 中的数据进行分割的问题。

为了解决子空间聚类问题，我们提出了一种包含两个步骤的算法。在第一步中，对于每个数据点，我们找到属于同一子空间的几个其他点。为此，我们提出了一种全局稀疏优化程序，其解决方案将有关数据点的成员资格的信息编码到每个点的底层子空间。在第二步中，我们在谱聚类框架中使用这些信息来推断数据的聚类。

“Algorithm 1 : Sparse Subspace Clustering (SSC) 稀疏子空间聚类

输入：位于 n 个线性子空间{Si}i=1N 并集中的一组点{yi}i=1N 。

1.数据未损坏求解（5），  损坏（13）

在实践中，E 还可以处理由噪声引起的小错误。以下命题建议设置 λz = αz/μz ，λe = αe/μe，其中 αz，αe > 1 且

 

2：将 C 的列标准化。

3：形成一个相似度图，其中N个节点代表数据点。通过 W=|C|+|C|T ,设置节点之间的边上的权重。

4：将谱聚类[26]应用于相似图。

输出：数据分段：Y1;Y2; ...;Yn。

理想情况下，以这种方式构建的相似图具有对应于 n 个子空间的 n 个连通分量，即

其中Wl是Sl中数据点的相似度矩阵。然后，通过将谱聚类 [26] 应用于图 G，将数据聚类到子空间中。更具体地说，我们通过将 K 均值算法 [11] 应用于矩阵的归一化行（其列为 n）来获得数据聚类。图的对称归一化拉普拉斯矩阵的底部特征向量。

下面，我们研究了保证 (5) 中的凸优化程序恢复每个数据点的子空间稀疏表示的条件：

SSC 算法成功的基本假设是所提出的优化程序恢复每个数据点的子空间稀疏表示，即其非零元素对应于给定点的子空间的表示。在本节中，我们研究对于位于线性子空间并集中的数据点，（4）中的稀疏优化程序恢复数据点的子空间稀疏表示的条件。我们研究了两类子空间排列的恢复条件：独立和不相交的子空间模型[36]。

Definition 1.  如果

则称子空间{Si}i=1n的集合是独立的，其中⊕表示直和运算符。

例如，图 4（左）所示的三个 1D 子空间是独立的，因为它们跨越 3D 空间，并且它们的维度之和也是 3。另一方面，图 4（右）所示的子空间是不独立，因为它们跨越 2D 空间，而它们的维度总和为 3。

Definition 2. 如果每对子空间仅在原点相交，则称子空间{Si}i=1n 的集合是不相交的。换句话说，对于每对子空间，我们都有 dim(Si⊕Sj) = dim(Si) + dim(Sj)。

作为示例，图 4 中所示的两个子空间排列是不相交的，因为每对子空间在原点相交。请注意，基于上述定义，不相交的概念比独立性弱，因为独立子空间模型总是不相交的，而反之则不一定成立。可用于表征两个不相交子空间的一个重要概念是最小主轴角，定义如下：

Definition 3.两个子空间Si和Sj之间的最小主角，记为θij，定义为

请注意，两个不相交的子空间在原点相交，因此它们的最小主角大于零且 cos(θij)∈[0,1)。

“4.1 Independent Subspace Model”  独立子空间模型

在本节中，我们考虑位于独立子空间联合中的数据点，这是许多子空间聚类算法的基础模型。我们表明，（4）中的 l1-最小化程序”以及更一般地，（3）中 q<∞ 的 lq-最小化”总是恢复数据点的子空间稀疏表示。更具体地说，我们展示了以下结果。

Theorem 1. 定理 1. 考虑从维度为 {di}i=1n 的 n 个独立子空间 {Si}i=1n 中提取的数据点集合。令Yi 表示Si 中的 Ni 数据点，其中rank(Yi) = di，并令Yi 表示除Si 之外的所有子空间中的数据点。然后，对于每个 Si 和 Si 中的每个非零 y，lq 最小化程序

对于 q<∞，lq 最小化程序恢复子空间稀疏表示，即 c* ≠ 0 and c*- = 0

请注意，子空间稀疏恢复在对除 rank(Yi) = di 之外的每个子空间中的数据点分布没有任何假设的情况下成立。这是以子空间排列模型的限制性更强为代价的。接下来，我们将证明，对于更一般的不相交子空间，在子空间的相对配置以及每个子空间中数据的分布的适当条件下，（4）中的 l1-最小化恢复子空间稀疏表示数据点。

“4.2 Disjoint Subspace Model” 不相交子空间模型

我们现在考虑更一般的不相交子空间类别，并研究 (4) 中的优化程序恢复每个数据点的子空间稀疏表示的条件。为此，我们考虑 Si 与 ⊕j≠iSj 交集中的向量 x，并当我们将字典限制为 Si 中的数据点时，让 l1-最小化的最优解为

当我们将字典限制为来自除 Si 之外的所有子空间中的点时，我们还让 l1-最小化的最优解为

4. 事实上，ai 和 a-i 依赖于 x、Yi 和 Y-i。由于这种依赖性从上下文中显而易见，因此我们删除了 ai(x,Yi) 和 a-i(x,Y-i) 中的参数。

我们在在线补充材料中表明，如果对于 Si 与 ⊕j≠iSj 交集中的每个非零 x，SSC 算法成功地恢复每个 Si 中数据点的子空间稀疏表示，则 (19 ) 严格小于 (20) 解的 l1-范数，即

更准确地说，我们显示了以下结果。

Thm2. 定理 2. 考虑从维度为 {di}i=1n 的 n 个不相交子空间 {Si}i=1n 中提取的数据点集合。令Yi 表示Si 中的Ni 数据点，其中rank(Yi) = di，并令Y-i 表示除Si 之外的所有子空间中的数据点。l1-最小化

当且仅当 (21) 成立时，l1-最小化恢复 Si 中每个非零 y 的子空间稀疏表示，即 c* ≠ 0 and c*- = 0。

虽然（21）中的充分必要条件保证了通过 l1-最小化程序 成功进行子空间稀疏恢复，但它没有明确显示“l1-最小化程序”成功的子空间排列和数据分布之间的关系。为了建立这样的关系，我们证明了 ||αi||1 ≤ βi，其中 βi 取决于 Si 中数据点的奇异值，以及 ||α-i||1 ≥ β-i，其中 β-i 取决于 Si 与其他子空间之间的子空间角度。然后，充分条件βi < β-i 建立了子空间角度和数据分布之间的关系，在该关系下“l1-最小化”在子空间稀疏恢复中是成功的，因为它意味着

即定理2的条件成立。

Thm3.定理 3. 考虑从维度为 {di}i=1n 的 n 个不相交子空间 {Si}i=1n 中提取的数据点集合。令 Wi 为 Yi 的所有满秩子矩阵~Yi ∈ R D x di 的集合，其中rank(Yi) = di。如果条件

成立，那么对于 Si 中的每个非零 y，(22) 中的 l1-最小化恢复子空间稀疏解，即 c* ≠ 0 and c*- = 0.5

5. 导出范数||Y-i||1,2 表示 Y -i 列的最大l2-范数。

宽松地说，定理 3 中的充分条件表明，如果每个 Si 与任何其他子空间之间的最小主角大于取决于 Si 中的数据分布的某个值，则子空间稀疏恢复成立。当数据点的范数分布奇数时，例如，当 Si 中数据点的最大范数远小于所有其他子空间中数据点的最大范数时，该界限可能相当高。由于数据点缩放时数据的分割不会改变，因此我们可以在将数据点归一化为具有单位欧氏范数后将 SSC 应用于线性子空间。在这种情况下，(24) 中的充分条件简化为