四种常用聚类及代码（二）：谱聚类（spectral clustering）

谱聚类在最近几年变得受欢迎起来，主要原因就是它实现简单，聚类效果经常优于传统的聚类算法（如K-Means算法）。刚开始学习谱聚类的时候，给人的感觉就是这个算法看上去很难，但是当真正的深入了解这个算法的时候，其实它的原理并不难，但是理解该算法还是需要一定的数学基础的。如果掌握了谱聚类算法，会对矩阵分析，图论和降维中的主成分分析等有更加深入的理解。

1、谱聚类概述

谱聚类(Spectral Clustering, SC)是一种基于图论的聚类方法——将带权无向图划分为两个或两个以上的最优子图，使子图内部尽量相似，而子图间距离尽量距离较远，以达到常见的聚类的目的。其中的最优是指最优目标函数不同，可以是割边最小分割， 也可以是分割规模差不多且割边最小的分割。
谱聚类通过对样本数据的拉普拉斯矩阵的特征向量进行聚类，从而对样本数据聚类。谱聚类可以理解为将高维空间的数据映射到低维，然后在低维空间用其它聚类算法（如K-Means）进行聚类。

1.1、简单说明

谱聚类过程主要有两步，第一步是构图，将采样点数据构造成一张网图，表示为G(V,E)，V表示图中的点，E表示点与点之间的边，如下图：

第二步是切图，即将第一步构造出来的按照一定的切边准则，切分成不同的图，而不同的子图，即我们对应的聚类结果，举例如下：

2、数学准备

2.1、谱

方阵作为线性算子，它的所有特征值的全体统称为方阵的谱。方阵的谱半径为最大的特征值。矩阵A的谱半径是矩阵A^TA的最大特征值。

2.2、无向权重图

对于一个图G，我们一般用点的集合V和边的集合E来描述。即为G(V,E)。其中V即为我们数据集里面所有的点(v1,v2,…vn)。对于V中的任意两个点，可以有边连接，也可以没有边连接。我们定义权重w_ij为点v_i和点v_j之间的权重。由于我们是无向图，所以w_ij=w_ji。

对于有边连接的两个点v_i和v_j，w_ij>0,对于没有边连接的两个点v_i和v_j，w_ij=0。对于图中的任意一个点vi，它的度di定义为和它相连的所有边的权重之和，即d_i =$\sum$_j w_ij

利用每个点度的定义，我们可以得到一个nxn的度矩阵D,它是一个对角矩阵，只有主对角线有值，对应第i行的第i个点的度数。
利用所有点之间的权重值，我们可以得到图的邻接矩阵W，它也是一个nxn的矩阵，第i行的第j个值对应我们的权重w_ij。

2.3、相似矩阵

相似矩阵就是样本点中的任意两个点之间的距离度量，在聚类算法中可以表示为距离近的点它们之间的相似度比较高，而距离较远的点它们的相似度比较低，甚至可以忽略。这里用三种方式表示相似度矩阵：一是ϵ-近邻法（ϵ-neighborhood graph），二是k近邻法（k-nearest nerghbor graph），三是全连接法（fully connected graph）。下面我们来介绍这三种方法。

2.3.1、ϵ-neighborhood graph：

样本点中任意两点之间的欧式距离：

用此方法构造的相似度矩阵表示如下：

该相似度矩阵由于距离近的点的距离表示为，距离远的点距离表示为0，矩阵种没有携带关于数据集的太多的信息，所以该方法一般很少使用，在sklearn中也没有使用该方法。

2.3.2、k-nearest nerghbor graph：

由于每个样本点的k个近邻可能不是完全相同的，所以用此方法构造的相似度矩阵并不是对称的。因此，这里使用两种方式表示对称的knn相似度矩阵，第一种方式是如果v_i在v_j的k个邻域中 或者 v_j在v_i的k个邻域中，则w_ij=w_ji为v_i与v_j之间的距离，否则为0；第二种方式是如果v_i在v_j的k个邻域中 并且 v_j在v_i的k个邻域中，则w_ij=w_ji为v_i与v_j之间的距离，否则为0。很显然第二种方式比第一种方式生成的相似度矩阵要稀疏。这两种方式用公式表达如下：

第一种方式：

第二种方式：

2.3.3、fully connected graph:

该方法就是在算法描述中的高斯相似度方法，公式如下：

该方法也是最常用的方法，在sklearn中默认的也是该方法，表示任意两个样本点都有相似度，但是距离较远的样本点之间相似度较低，甚至可以忽略。这里面的参数控制着样本点的邻域宽度，即越大表示样本点与距离较远的样本点的相似度越大，反之亦然。

2.4、拉普拉斯矩阵

单独把拉普拉斯矩阵(Graph Laplacians)拿出来介绍是因为后面的算法和这个矩阵的性质息息相关。它的定义很简单，拉普拉斯矩阵L=D−W。D即为度矩阵，它是一个对角矩阵。而W即为邻接矩阵，它可以通过相似矩阵构建出。

拉普拉斯矩阵有一些很好的性质如下：

1）拉普拉斯矩阵是对称矩阵，这可以由D和W都是对称矩阵而得。

2）由于拉普拉斯矩阵是对称矩阵，则它的所有的特征值都是实数。

3）对于任意的向量f,我们有
$$f^{T}Lf=\frac{1}{2}\sum _{i,j=1}^n{w}_{ij}(f_i-f_j{)}^2$$
证明：
$$f^{T}Lf=f^{T}Df-f^{T}Wf=\sum _{i=1}^n{d}_i{f}_i^2-\sum _{i,j=1}^n{w}_{ij}{f}_i{f}_j$$
$$=\frac{1}{2}(\sum _{i=1}^n{d}_i{f}_i^2-2\sum _{i,j=1}^n{w}_{ij}{f}_i{f}_j+\sum _{j=1}^n{d}_j{f}_j^2)=\frac{1}{2}\sum _{i,j=1}^n{w}_{ij}(f_i-f_j{)}^2$$
4) 拉普拉斯矩阵是半正定的，且对应的n个实数特征值都大于等于0，即0=λ1≤λ2≤…≤λn， 且最小的特征值为0：
令$\overline{1}$表示n*1的全1向量，则

由D和W的定义可以得出上式。

3、切图聚类

3.1、切图

对于无向图G的切图，我们的目标是将图G(V,E)切成相互没有连接的k个子图，每个子图点的集合为：A₁,A₂,…A_k，它们满足A_i∩A_j=∅,且A₁∪A₂∪…∪A_k=V.

对于任意两个子图点的集合A,B⊂V, A∩B=∅, 我们定义A和B之间的切图权重为：
$$W(A,B)=\sum _{i\in A,j\in B}{w}_{ij}$$
那么对于我们k个子图点的集合：A₁,A₂,…A_k，我们定义切图cut为：
$$cut(A_1,A_2,...A_k)=\frac{1}{2}\sum _{i=1}^{k}W(A_i,{\overline{A}}_i)$$
其中$\overline{A}$_i为A_i的补集，意为除Ai子集外其他V的子集的并集。

那么如何切图可以让子图内的点权重和高，子图间的点权重和低呢？一个自然的想法就是最小化cut(A₁,A₂,…A_k), 但是可以发现，这种极小化的切图存在问题，如下图：

我们选择一个权重最小的边缘的点，比如C和H之间进行cut，这样可以最小化cut(A₁,A₂,…A_k), 但是却不是最优的切图，如何避免这种切图，并且找到类似图中"Best Cut"这样的最优切图呢？

3.2、三种切图方法

3.2.1、最小切（mincut）

即最小化cut(A₁,A₂,…A_k)

3.2.2、RatioCut切图

RatioCut切图为了避免最小切图，对每个切图，不光考虑最小化cut(A₁,A₂,…A_k)，它还同时考虑最大化每个子图点的个数，即：
$$RatioCut(A_1,A_2,...A_k)=\frac{1}{2}\sum _{i=1}^k\frac{W(A_i,}{|A_i|}$$