核稀疏子空间聚类方法（Kernel Sparse Subspace Clustering, KSSC）

核稀疏子空间聚类方法（Kernel Sparse Subspace Clustering, KSSC）

引言

核稀疏子空间聚类（KSSC）是稀疏子空间聚类（SSC）的一种扩展，旨在处理非线性可分的数据。

通过引入核技巧，KSSC 能够在高维特征空间中找到数据点的稀疏表示，即使在原始特征空间中数据点可能处于不同的低维子空间中。

这种方法特别适合于处理具有复杂结构的高维数据。

基础理论

在 SSC 中，数据点的稀疏表示是在原始特征空间中计算的。

然而，在许多情况下，数据点的真实关系可能在高维空间中更加明显，尤其是在数据点分布于非线性子空间中时。

核技巧允许我们在一个更高维的特征空间中操作，而无需显式地计算这个空间中的特征映射。

核函数

核函数 $k(\cdot ,\cdot )$ 是一种度量两个数据点在高维特征空间中相似度的函数，而不必显式地知道特征映射。

常见的核函数包括高斯核、多项式核、线性核等。

KSSC 的数学模型

对于给定的数据集 X = { x 1 , x 2 , … , x N } \mathbf{X} = \{\mathbf{x}_1, \mathbf{x}_2, \ldots, \mathbf{x}_N\} X={x1​,x2​,…,xN​}，其中 ${\mathbf{x}}_i\in {\mathbb{R}}^d$，KSSC 的目标是找到一个稀疏表示矩阵 $\mathbf{Z}$，使得每个数据点 ${\mathbf{x}}_i$ 都可以表示为其余数据点在高维特征空间中的线性组合。数学上，这可以表示为以下优化问题：

$$\underset{\mathbf{Z}}{\min }\frac{1}{2}\sum _{i=1}^N{\Vert \varphi ({\mathbf{x}}_i)-\sum _{j=1}^{N}k({\mathbf{x}}_i,{\mathbf{x}}_j)z_{ij}\varphi ({\mathbf{x}}_j)\Vert }^2+\lambda \sum _{i=1}^N\sum _{j=1}^N|z_{ij}|$$

其中：

• $\varphi (\cdot )$ 是从原始特征空间到高维特征空间的映射函数；
• $k({\mathbf{x}}_i,{\mathbf{x}}_j)$ 是核函数，用于计算 ${\mathbf{x}}_i$ 和 ${\mathbf{x}}_j$ 在高维特征空间中的相似度；
• $\mathbf{Z}$ 是 $N\times N$ 的稀疏表示矩阵；
• $\lambda$ 是正则化参数，用于控制稀疏性。

优化问题简化

由于直接在高维特征空间中操作可能计算成本高昂，KSSC 实际上是通过核矩阵 $K$ 来解决问题的，其中 $K_{ij}=k({\mathbf{x}}_i,{\mathbf{x}}_j)$。这样，原始的优化问题可以简化为：

$$\underset{\mathbf{Z}}{\min }\frac{1}{2}\sum _{i=1}^N{\Vert {\mathbf{x}}_i-\sum _{j=1}^{N}k({\mathbf{x}}_i,{\mathbf{x}}_j)z_{ij}{\mathbf{x}}_j\Vert }^2+\lambda \sum _{i=1}^N\sum _{j=1}^N|z_{ij}|$$

但是，由于 $k({\mathbf{x}}_i,{\mathbf{x}}_j)$ 已经是高维特征空间中的内积，我们进一步可以简化为：

$$\underset{\mathbf{Z}}{\min }\frac{1}{2}\sum _{i=1}^N{\Vert {\mathbf{x}}_i-\mathbf{X}(\mathbf{KZ}{)}_i\Vert }^2+\lambda \sum _{i=1}^N\sum _{j=1}^N|z_{ij}|$$

这里，$(\mathbf{KZ}{)}_i$ 表示矩阵 $\mathbf{KZ}$ 的第 $i$ 行。

目标公式

KSSC 的目标公式可以总结为：

$$\underset{\mathbf{Z}}{\min }\frac{1}{2}\Vert \mathbf{X}-\mathbf{XKZ}{\Vert }_F^2+\lambda \Vert \mathbf{Z}{\Vert }_1$$

其中：

• $\Vert \cdot {\Vert }_F$ 是 Frobenius 范数，度量矩阵元素的平方和的平方根；
• $\Vert \cdot {\Vert }_1$ 是 L1 范数，度量矩阵元素的绝对值和，用于促进稀疏性。

后处理与聚类

一旦找到稀疏表示矩阵 $\mathbf{Z}$，就可以构建相似度矩阵 $\mathbf{W}$ 并使用谱聚类技术对数据点进行聚类。相似度矩阵可以是 $\mathbf{Z}$ 的绝对值矩阵，或者更常见的是，使用 $|\mathbf{Z}|+|{\mathbf{Z}}^{\top }|$ 来构建。

结论

核稀疏子空间聚类（KSSC）是一种先进的子空间聚类方法，它通过核技巧在高维特征空间中寻找数据点的稀疏表示，从而解决了非线性可分数据的聚类问题。

KSSC 的核心在于利用核函数将数据点映射到高维空间，然后在这个空间中寻找数据点之间的稀疏表示，最终通过谱聚类实现数据点的有效聚类。