谱聚类（Spectral Clustering）

• 谱聚类算法是基于标准线性代数求解的，比传统的聚类方法（如K-means）效果好
• 谱聚类的两个关键的数学依据是相似图和图拉普拉斯
• 聚类的目标是将数据集划分成若干组子集，使得组间差异性最大而组内差异性最小

1 图论相关知识

用图论的角度思考，将每个数据点视为顶点，而数据点之间的相似性视为边，则可以定义相似图$G=(V,E)$，则聚类问题转化为用最小的代价去划分图，使得不同组间边的连接权值总和尽可能小，而组内边的连接权值总和尽可能大
相似图是无向图，可以建立邻接矩阵$W=(w_{ij}{)}_{i,j=1,\cdot \cdot \cdot ,n}$，如果$w_{i,j}=0$表示顶点$v_i$和$v_j$之间无连接边，定义顶点的度为$d_i={\sum }_{j=1}^n{w}_{ij}$
定义不互斥的两个子集A和B有$W(A,B):={\sum }_{i\in A,j\in B}{w}_{ij}$
定义$|A|$为A的顶点数，$vol(A)$为A中所有顶点度之和

2 不同的相似图

相似图的构建主要依赖于顶点间的相似性或者距离来构建局部数据点的近邻关系，构建方法有：
（a）$\epsilon$ 近邻图：即设置顶点距离的最大阈值，从而得到稀疏图，适用于无向图
（b）$k$近邻图：即设置顶点的最大近邻数，适用于有向图，对于无向图可以分别考虑单向和互近邻两种情况来构建无向图
（c）全连接图：采用高斯相似函数$s(x_i,x_j)=\exp (-\Vert x_i-x_j{\Vert }^2/(2{\sigma }^2))$

3 图拉普拉斯

图拉普拉斯矩阵是谱聚类算法的重点
非标注化的图拉普拉斯矩阵定义为$L=D-W$，$D$是顶点度组成的对角阵，$W$是邻接矩阵
$L$是对称半正定矩阵，最小的特征值为0
将L标准化有：$L_{sym}:=D^{-1/2}L{D}^{-1/2}=I-D^{-1/2}W{D}^{-1/2}$，$L_{rw}:=D^{-1}L=I-D^{-1}W$

4 标准化谱算法流程

算法输入：$n$维相似度矩阵$S$，聚类数$k$
（a）构建相似图和邻接矩阵$W$
（b）计算非标准化拉普拉斯矩阵L
（c）计算前$k$个特征值对应的特征向量
（d）构建包含$k$个特征向量的矩阵$U\in R^{n\times k}$
（e）对$U$进行标准化得到$T$，$t_{ij}=u_{ij}/({\sum }_k{u}_{ik}^2{)}^{1/2}$
（f）对$T$中的特征向量进行聚类，则聚类结果每一行的类别对应最初的邻接图N个顶点的类别

参考文献

1. Ulrike von Luxburg. A Tutorial on Spectral Clustering. Statistics and Computing, 17 (4), 2007.