机器学习聚类算法谱聚类拉普拉斯降维

谱聚类的主要思想就是一个拉普拉斯降维，将思维转化为图的方式求解而已，没有那么高深莫测，希望我的理解能对大家有所帮助
概念
Spectral Clustering（谱聚类）是一种基于图论的聚类方法，它能够识别任意形状的样本空间且收敛于全局最有解，其基本思想是利用样本数据的相似矩阵进行特征分解后得到的特征向量进行聚类。
谱聚类的目的便是要找到一种合理的分割图的方法，使得分割后形成若干个子图，连接不同子图的边的权重（相似度）尽可能低，同子图内的边的权重（相似度）尽可能高。

 

通过上面的图就很容易理解，我们所要切断的就是那两根蓝线，因为权重和最小。
相关知识
邻接矩阵（W）：是表示顶点之间相邻关系的矩阵。

度矩阵（D）：度矩阵在有向图中，只需要考虑出度或者入度中的一个。对于带有权重的无向图，则是定点的权重
和。

Laplacian矩阵（L）：给定一个有n个顶点的图G：
L=D-A
其中D为图的度矩阵，A为图的邻接矩阵。

Laplacian矩阵性质： 1，是对称半正定矩阵；
2，L的最小特征值是0，相应的特征向量是1 。

3，有n个非负实特征值 。

4，且对于任何一个属于实向量，有以下式子成立
通过例子很容易得出拉普拉斯求解过程

 

由于格式不好转变，下面我就以图片的形式给大家讲解，不能复制还请谅解：

 

 

 

我们主要讲解一下Rcut函数

 

可以看到，我们把一个很难解的问题转换成了矩阵形式，这样新的目标函数就有了：

 

这时候就可以引入一个新的概念了：Rayleigh熵

 

上面一直以2类为例，那么k类也很好理解。

 

讲到这里，其实算法已经不重要了，因为谱聚类主要是知道拉普拉斯降维思想，算法其实很简单。

 

最后总结一下优缺点。

 

代码就不放了，聚类算法网上有很多，拉普拉斯降维代码也较容易，希望以上对大家有所帮助。