核稀疏子空间聚类方法(Kernel Sparse Subspace Clustering, KSSC)
引言
核稀疏子空间聚类(KSSC)是稀疏子空间聚类
(SSC)的一种扩展,旨在处理非线性可分的数据
。
通过引入核技巧,KSSC 能够在高维特征空间中找到数据点的稀疏表示
,即使在原始特征空间中数据点可能处于不同的低维子空间中。
这种方法特别适合于处理具有复杂结构的高维数据。
基础理论
在 SSC 中,数据点的稀疏表示
是在原始特征空间中计算的。
然而,在许多情况下,数据点的真实关系可能在高维空间中更加明显,尤其是在数据点分布于非线性子空间
中时。
核技巧允许我们在一个更高维的特征空间中操作,而无需显式地计算这个空间中的特征映射。
核函数
核函数 是一种度量两个数据点在高维特征空间中相似度的函数
,而不必显式地知道特征映射。
常见的核函数包括高斯核、多项式核、线性核等。
KSSC 的数学模型
对于给定的数据集 ,其中 ,KSSC 的目标是找到一个稀疏表示矩阵
,使得每个数据点 都可以表示为其余数据点在高维特征空间中的线性组合
。数学上,这可以表示为以下优化问题:
其中:
- 是
从原始特征空间到高维特征空间的映射函数;
- 是核函数,用于计算 和 在高维特征空间中的
相似度;
- 是 的
稀疏表示矩阵;
- 是正则化参数,用于
控制稀疏性。
优化问题简化
由于直接在高维特征空间中操作可能计算成本高昂,KSSC 实际上是通过核矩阵
来解决问题的,其中 。这样,原始的优化问题可以简化为:
但是,由于 已经是高维特征空间中的内积
,我们进一步可以简化为:
这里, 表示矩阵 的第
目标公式
KSSC 的目标公式可以总结为:
其中:
后处理与聚类
一旦找到稀疏表示矩阵
,就可以构建相似度矩阵
并使用谱聚类技术对数据点进行聚类。相似度矩阵可以是 的绝对值矩阵,或者更常见的是,使用
结论
核稀疏子空间聚类(KSSC)是一种先进的子空间聚类方法,它通过核技巧在高维特征空间中寻找数据点的稀疏表示,从而解决了非线性可分数据的聚类问题。
KSSC 的核心在于利用核函数将数据点映射到高维空间,然后在这个空间中寻找数据点之间的稀疏表示,最终通过谱聚类实现数据点的有效聚类。