基于谱聚类的稀疏子空间聚类方法(Sparse Subspace Clustering via Spectral Clustering, SSC-SC)
引言
稀疏子空间聚类(Sparse Subspace Clustering, SSC)是一种先进的聚类方法,特别适用于处理高维数据
,尤其是当数据点分布在多个低维子空间上时。
这种方法利用了数据的自表达属性,即数据点可以用其他数据点的线性组合表示
,然后通过谱聚类技术将数据点分组到各自的子空间中。
稀疏子空间聚类原理
SSC假设数据点
X
=
[
x
1
,
x
2
,
…
,
x
n
]
X = [x_1, x_2, \dots, x_n]
X=[x1,x2,…,xn]来自多个低维子空间
,目标是找到一个稀疏的自表达系数矩阵
Z
Z
Z,使得每个数据点都可以用其他数据点的稀疏组合来近似表示
。
这通常通过最小化以下目标函数实现:
min Z 1 2 ∥ X − X Z ∥ F 2 + λ ∥ Z ∥ 1 subject to Z i i = 0 , ∀ i \min_{Z} \frac{1}{2} \|X - XZ\|_F^2 + \lambda \|Z\|_1 \quad \text{subject to } Z_{ii} = 0, \forall i Zmin21∥X−XZ∥F2+λ∥Z∥1subject to Zii=0,∀i
其中:
-
∥
X
−
X
Z
∥
F
2
\|X - XZ\|_F^2
∥X−XZ∥F2是
Frobenius范数
,衡量原数据
X X X和其通过自表达矩阵
Z Z Z重构的版本之间的差异。
-
∥
Z
∥
1
\|Z\|_1
∥Z∥1是L1范数,用于促进
Z
Z
Z的
稀疏性,即大多数系数为零。
- λ \lambda λ是正则化参数,用于平衡重构误差和稀疏性。
谱聚类
一旦得到自表达系数矩阵
Z
Z
Z,下一步是使用谱聚类
将数据点分组到不同的子空间中。谱聚类通过分析
Z
Z
Z的拉普拉斯矩阵
L
L
L的特征向量来实现数据点的分组,
L
L
L可以定义为:
L = D − ∣ Z ∣ L = D - |Z| L=D−∣Z∣
其中:
-
D
D
D是一个
对角矩阵
,其中 D i i = ∑ j ∣ Z i j ∣ D_{ii} = \sum_j |Z_{ij}| Dii=∑j∣Zij∣,用于归一化
每个节点的度数。 - ∣ Z ∣ |Z| ∣Z∣是对 Z Z Z取绝对值,以忽略自表达系数的符号。
谱聚类的关键步骤是:
- 计算
L
L
L的前
k
k
k个
特征向量
,其中 k k k是子空间的数量。
- 对这些特征向量进行归一化,形成一个新的矩阵 U U U。
- 将
U
U
U的
每一行
视为一个新数据点,然后使用 k k k-means或其它聚类算法对这些新数据点进行聚类。
目标公式与解释
目标函数:
min Z 1 2 ∥ X − X Z ∥ F 2 + λ ∥ Z ∥ 1 subject to Z i i = 0 , ∀ i \min_{Z} \frac{1}{2} \|X - XZ\|_F^2 + \lambda \|Z\|_1 \quad \text{subject to } Z_{ii} = 0, \forall i Zmin21∥X−XZ∥F2+λ∥Z∥1subject to Zii=0,∀i
-
∥
X
−
X
Z
∥
F
2
\|X - XZ\|_F^2
∥X−XZ∥F2:确保
X
X
X能够通过
Z
Z
Z表示的
线性组合尽可能准确地重构。
-
∥
Z
∥
1
\|Z\|_1
∥Z∥1:鼓励
Z
Z
Z稀疏,即
每个数据点最好只用少数几个其他数据点的线性组合来表示。
- Z i i = 0 Z_{ii} = 0 Zii=0:确保数据点不会用自己表示,避免了自回归问题。
谱聚类中的拉普拉斯矩阵 L L L:
L = D − ∣ Z ∣ L = D - |Z| L=D−∣Z∣
-
D
D
D:
度矩阵
,表示每个数据点作为线性组合中的一部分的总权重。 - ∣ Z ∣ |Z| ∣Z∣:取 Z Z Z的绝对值,去除自表达系数的符号影响,仅关注权重。
结论
基于谱聚类的稀疏子空间聚类方法(SSC-SC)是一种强大的工具,用于处理复杂的数据集,特别是那些分布在多个低维子空间上的高维数据。
通过结合稀疏表示和谱聚类技术,SSC-SC能够有效地识别和分离出数据点所属的不同子空间,从而实现准确的聚类。这种方法在图像分析、视频处理、生物信息学等多个领域都有着广泛的应用。