谱聚类

谱聚类（spectral clustering）原理总结：

谱聚类（spectral clustering）是广泛使用的聚类算法，比起传统的K-Means算法，谱聚类对数据分布的适应性更强，聚类效果也很优秀，同时聚类的计算量也小很多，更加难能可贵的是实现起来也不复杂。在处理实际的聚类问题时，个人认为谱聚类是应该首先考虑的几种算法之一。下面我们就对谱聚类的算法原理做一个总结。

1. 谱聚类概述

谱聚类是从图论中演化出来的算法，后来在聚类问题中得到了广泛的应用。它的主要思想是把所有的数据看作空间中的点，这些点之间可以用边连接起来。距离较远的两个点之间的边权重较低，距离越近权重越高，通过对所有数据点组成的图进行切图，让切图后不同的子图间边权重和尽可能的低，而子图内的边权重和尽可能的高，从而达到聚类的目的。

乍一看，这个算法的原理的确简单，但是要完全理解这个算法的话，需要对图论中的无向图，线性代数和矩阵分析都有一定的了解。下面我们就从这些基础知识开始，一步步学习谱聚类。

2. 谱聚类基础之一：无向权重图

对于一个图，我们一般用点的集合V和边的集合E来描述，即为G(V,E)。

对于有边连接的两个点$v_i,v_j$，$w_{i,j}>0$；对于没有边相连的两个点，$w_{i,j}=0$；由于我们是无向图，所以，$w_{i,j}=w_{j,i}$

对于图中的任意一个点$v_i$，它的度$d_i$定义为和它相连的所有边的权重之和，即：
$$d_i=\sum _{j=1}^n{w}_{ij}$$
利用每个点度的定义，我们可以得到一个nxn的度矩阵D，它是一个对角矩阵，只有主对角线有值，对应第i行的第i个点的度数，定义如下：

$$D=\left[\begin{array}{ccc}{d}_1& ...& ...\\ ...& d_2& ...\\ ...& ...& d_n\end{array}\right]$$

利用点和点之间的权重值，我们可以得到图的邻接矩阵W，除此之外，我们定义：
$$|A|：子集A中点的个数$$

$$vol(A)=\sum _{i\in A}{d}_i$$

3. 谱聚类基础之二：相似矩阵

如何得到邻接矩阵呢？方法有三类：$\in$-邻近法、K近邻法、全连接法。

• $\in$-邻近法：它设置了一个阈值$\in$，然后用欧式距离$s_{i,j}$度量任意两点$x_i，x_j$的距离。定义邻接矩阵W如下：

$$w_{i,j}=\{\begin{array}{ll}0,& s_{ij}>\in \\ \in ,& s_{ij}<=\in \end{array}$$

从上式可见，两点间的权重要不就是$\in$，要不就是0，没有其他的信息了。距离远近的度量很不精确，因此在实际生活中，很少用该方法。

• K近邻法：利用KNN算法遍历所有的样本点，取每个样本最近的K个点作为近邻，只有和样本距离最近的K个点之间的$w_{ij}>0$，但是这种方法会造成邻接矩阵是非对称的，我们后面的算法需要堆成邻接矩阵。为了解决这个问题，一般采取下面两种方法。

**第一种方法是：**只要一个点在另一个点的K近邻中，则保留$x_{ij}$
$$w_{ij}=w_{ji}=\{\begin{array}{ll}0& x_i\notin KNN(x_j)and{x}_j\notin KNN(x_i)\\ exp(-\frac{||x_i-x_j|{|}^2}{2{\theta }^2})& x_i\notin KNN(x_j)or{x}_j\notin KNN(x_i)\end{array}$$
**第二种方法是：**必须两个点互为K近邻，则保留$x_{ij}$
$$w_{ij}=w_{ji}=\{\begin{array}{ll}0& x_i\notin KNN(x_j)or{x}_j\notin KNN(x_i)\\ exp(-\frac{||x_i-x_j|{|}^2}{2{\theta }^2})& x_i\notin KNN(x_j)and{x}_j\notin KNN(x_i)\end{array}$$

• 全连接法：第三种方法所有点之间的权重值都大于0，因此称为全连接法。可以选择不同的核函数来定义边权重，常用的多项式核函数有高斯核函数和sigmoid核函数，高斯核RBF定义如下：

$$w_{ij}=s_{ij}=exp(-\frac{||x_i-x_j|{|}^2}{2{\theta }^2})$$

在实际的应用中，使用第三种全连接法来简历邻接矩阵是最普遍的，而在全连接法中使用高斯径向核RBF是最普遍的。

4. 谱聚类基础之三：拉普拉斯矩阵

拉普拉斯矩阵（Graph Laplacians）和后面要介绍的算法息息相关，它的定义很简单：
$$L=D-W$$
其中，D是度矩阵，W是邻接矩阵。

拉普拉斯矩阵的性质：

1. 它由D和W矩阵构成，所以L是对称矩阵。
2. 由于是对称矩阵，则它的所有的特征值都是实数。
3. 对于任意的向量f，我们有

f T