谱聚类（Spectral Clustering）

1. 谱聚类概述

• 谱聚类是从图论中演化出来的算法，后来在聚类中得到了广泛的应用。它的主要思想是把所有的数据看做空间中的点，这些点之间可以用边连接起来。距离较远的两个点之间的边权重值较低，而距离较近的两个点之间的边权重值较高，通过对所有数据点组成的图进行切图，让切图后不同的子图间边权重和尽可能的低，而子图内的边权重和尽可能的高，从而达到聚类的目的。

• 乍一看，这个算法原理的确简单，但是要完全理解这个算法的话，需要对图论中的无向图，线性代数和矩阵分析都有一定的了解。下面我们就从这些需要的基础知识开始，一步步学习谱聚类。

2. 谱聚类基础

2.1、谱

方阵作为线性算子，它的所有特征值的全体统称为方阵的谱。方阵的谱半径为最大的特征值。

2.2 无向权重图

2.3 相似矩阵/邻接矩阵 W

2.3 拉普拉斯矩阵

证明一：

证明二：

拉普拉斯性质一

拉普拉斯性质二

拉普拉斯性质三

3 用切图的观点来解释谱聚类

聚类算法给我们的直观上的感觉就是根据样本点的相似性将他们划分成不同的组，使得在相同组内的数据点是相似的，不同组之间的数据点是不相似的。对于给定的样本点计算相似度，形成相似度图，因而谱聚类的问题可以被重新描述如下：我们想要找到图形的一个分区，使得不同分区之间的边具有非常低的权重（这意味着不同分区中的点彼此不相似）并且分区内的边具有高权重（这意味着其中的点彼此相似）。在这个小节我们将讨论如何推导谱聚类为近似的图分区的问题。
A的体积（Volume）

顶点集间的连接（links）

3.1 最小切（mincut）

 根据这个公式，对于下面这个图，假设点7和点8之间的权重值很小，那么很容易有红线所示的划分（假设二分），上面的代价函数计算出来的值很小。但显然绿色线所示才是最佳的分法。
 

3.2 RatioCut切图

3.3 Ncut切图