局部线性流形聚类（Locally Linear Manifold Clustering, LLMC）

局部线性流形聚类（Locally Linear Manifold Clustering, LLMC）

引言

局部线性流形聚类（LLMC）是一种用于高维数据聚类的先进方法，它基于流形学习理论，旨在发现隐藏在高维数据背后的低维流形结构。

LLMC通过局部线性嵌入（LLE）来估计数据点的局部几何特性，然后利用这些信息构建一个`相似度矩阵``，最后应用谱聚类算法对数据点进行聚类。

这种方法特别适合于处理非线性分布的数据集，其中数据点分布在复杂的流形上。

局部线性嵌入（LLE）

LLE是一种非线性降维技术，它试图保持数据点在局部邻域内的相对位置不变。

对于数据集中的每个点$x_i$，LLE找到一组权重$w_i$，使得$x_i$可以被其$k$个最近邻点的加权和近似表示。权重$w_i$通过解决以下优化问题来确定：

$$\underset{w_i}{\min }\sum _{x_j\in N_k(x_i)}{\Vert x_i-\sum _{x_j\in N_k(x_i)}{w}_{ij}{x}_j\Vert }^2$$

其中：

• $N_k(x_i)$是点$x_i$的$k$个最近邻点集合。
• $w_{ij}$是点$x_i$表示为点$x_j$的权重。
• $\Vert \cdot \Vert$表示欧几里得范数。

为了确保权重$w_i$的唯一性，加入一个约束条件：

$$\sum _{x_j\in N_k(x_i)}{w}_{ij}=1$$

构建相似度矩阵

一旦为每个数据点$x_i$计算了权重$w_i$，就可以构建一个相似度矩阵$S$，其中$S_{ij}$反映了点$x_i$和点$x_j$之间的相似度。相似度可以通过权重$w_{ij}$来定义，例如：

$$S_{ij}=\{\begin{array}{ll}{w}_{ij}& \text{if }j\in N_k(i)\\ w_{ji}& \text{if }i\in N_k(j)\\ 0& \text{otherwise}\end{array}$$

谱聚类

有了相似度矩阵$S$之后，可以将其转换为拉普拉斯矩阵$L$，然后应用谱聚类算法对数据点进行聚类。拉普拉斯矩阵$L$定义为：

$$L=D-S$$

其中$D$是一个对角矩阵，其中$D_{ii}={\sum }_j{S}_{ij}$，称为度矩阵。

谱聚类的步骤包括：

1. 计算拉普拉斯矩阵$L$的特征向量。
2. 选择前$k$个特征向量，其中$k$是预期的聚类数量。
3. 对这些特征向量进行归一化，形成一个新的矩阵$Y$。
4. 将$Y$的每一行视为一个新数据点，然后应用$k$-means算法对这些新数据点进行聚类。

目标公式与解释

LLMC的核心目标公式涉及LLE的权重计算和相似度矩阵的构建：

$$\underset{w_i}{\min }\sum _{x_j\in N_k(x_i)}{\Vert x_i-\sum _{x_j\in N_k(x_i)}{w}_{ij}{x}_j\Vert }^2\text{s.t.}\sum _{x_j\in N_k(x_i)}{w}_{ij}=1$$

• ${\sum }_{x_j\in N_k(x_i)}{\Vert x_i-{\sum }_{x_j\in N_k(x_i)}{w}_{ij}{x}_j\Vert }^2$：这个表达式衡量了点$x_i$和它通过其$k$个最近邻点的加权和之间的差异，目标是最小化这种差异，以找到能够最好地表示$x_i$的权重$w_i$。
• ${\sum }_{x_j\in N_k(x_i)}{w}_{ij}=1$：这是一个约束条件，确保权重$w_i$的和为1，这在数学上防止了权重的无限放大或缩小。

结论

局部线性流形聚类（LLMC）是一种强大的聚类方法，它结合了流形学习和谱聚类技术，能够有效地处理非线性分布和高维数据集。

通过利用局部线性嵌入（LLE）来估计数据点的局部几何特性，LLMC能够捕捉数据点在低维流形上的分布，然后通过谱聚类算法将数据点聚类到不同的流形区域。

这种方法在图像分析、生物信息学、语音识别和信号处理等领域有着广泛的应用潜力。