通俗理解谱聚类算法

最新推荐文章于 2024-08-04 02:55:55 发布

AI算法网奇

最新推荐文章于 2024-08-04 02:55:55 发布

阅读量3.8k

点赞数

分类专栏：视觉相关

视觉相关专栏收录该内容

229 篇文章 26 订阅

订阅专栏

通俗理解谱聚类算法

谱聚类(Spectral Clustering, SC)是一种基于图论的聚类方法。

将带权无向图划分为两个或两个以上的最优子图，使子图内部尽量相似，而子图间距离尽量距离较远，以达到常见的聚类的目的。

"带权无向图"这个词太学术了，我们换一种叫法，即：相似度矩阵。

假设我们有一个相似度矩阵，矩阵中存的是所有对象的两两相似度。

那么这个矩阵应该有如下性质：

矩阵为N * N，N为对象总数
矩阵对角线的值为0，自己和自己相似个毛啊
矩阵为对称矩阵，及相似度是无向的

我们将该矩阵记为：W。

谱聚类的任务就是根据这个相似度矩阵，将这一大堆对象，分成不同的小堆，小堆内部的对象彼此都很像，小堆之间则不像。

谱聚类本身也提供了好几种不同的分割(cut)方法，每种方法对应一种优化目标。

本文只介绍其中比较常见，也是比较实用，而且实现起来也比较经济的一种：Nomarlized cut.

说白了，就是你最应该掌握和使用的一种，好了，进入正题。

当你得到一个相似度矩阵W后，即可通过以下几个步骤，来得到对应的图分割方案：

1. 计算对角矩阵D[N*N]。，公式如下：

D矩阵为对角矩阵，对角线上的值为W矩阵中对应行或列的和。

2. 计算拉普拉斯矩阵(Laplacian) L：

3. 归一化L矩阵

4. 计算归一化后L矩阵的K个最小特征值及对应的特征向量

将K个特征向量竖着并排放在一起，形成一个N*K的特征矩阵，记为Q。

5. 对特征矩阵Q做kmeans聚类，得到一个N维向量C。

分别对应相似度矩阵W中每一行所代表的对象的所属类别，这也就是最终的聚类结果。

此外：

关于第3步中，对拉普拉斯矩阵归一化时，归一化公式进行变换得到：

令：

则在第4步中，我们可以将求L的K个最小特征值及其对应的特征向量的问题，转化为求矩阵E的K个最大的特征值及其对应的特征向量。

---可以证明：L的K个最小特征值对应的特征向量，分别对应于E的K个最大的特征值对应的特征向量。

且矩阵L的最小特征值为0，对应于矩阵E最大的特征值为1.矩阵L的第K小特征值等于1-矩阵E的第K大特征值

之所以要这么做，是因为在数值计算中，求矩阵的最大特征值，往往要比求最小特征值更方便和高效。

OK，至此，谱聚类就完成了，关于谱聚类的其他问题，诸如公式的推导，以及谱聚类的物理意义等，可参考博文：谱聚类算法。

谱聚类的实现很简单，按照上述5个步骤按部就班即可，在matlab中只需寥寥数行：

      Matlab代码   
      
    
function C = SpectralClustering(W, k)  
    [n,m] = size(W)    
    s = sum(W);  
    D = full(sparse(1:n, 1:n, s));  
    E = D^(-1/2)*W*D^(-1/2);  
    [Q, V] = eigs(E, k);  
    C = kmeans(Q, k);  
end  

在整个实现过程中，比较麻烦的就是E矩阵特征值的求解。

在自己实现时，可以调用已有的线性代数的包来完成这一步。

本文转载于http://www.cnblogs.com/pinard/p/6221564.html

　　　　谱聚类（spectral clustering）是广泛使用的聚类算法，比起传统的K-Means算法，谱聚类对数据分布的适应性更强，聚类效果也很优秀，同时聚类的计算量也小很多，更加难能可贵的是实现起来也不复杂。在处理实际的聚类问题时，个人认为谱聚类是应该首先考虑的几种算法之一。下面我们就对谱聚类的算法原理做一个总结。

1. 谱聚类概述

　　　　谱聚类是从图论中演化出来的算法，后来在聚类中得到了广泛的应用。它的主要思想是把所有的数据看做空间中的点，这些点之间可以用边连接起来。距离较远的两个点之间的边权重值较低，而距离较近的两个点之间的边权重值较高，通过对所有数据点组成的图进行切图，让切图后不同的子图间边权重和尽可能的低，而子图内的边权重和尽可能的高，从而达到聚类的目的。

　　　　乍一看，这个算法原理的确简单，但是要完全理解这个算法的话，需要对图论中的无向图，线性代数和矩阵分析都有一定的了解。下面我们就从这些需要的基础知识开始，一步步学习谱聚类。

2. 谱聚类基础之一：无向权重图

　　　　由于谱聚类是基于图论的，因此我们首先温习下图的概念。对于一个图，我们一般用点的集合和边的集合来描述。即为。其中即为我们数据集里面所有的点。对于中的任意两个点，可以有边连接，也可以没有边连接。我们定义权重为点和点之间的权重。由于我们是无向图，所以。

　　　　对于有边连接的两个点和，,对于没有边连接的两个点和，。对于图中的任意一个点，它的度定义为和它相连的所有边的权重之和，即

　　　　利用每个点度的定义，我们可以得到一个nxn的度矩阵,它是一个对角矩阵，只有主对角线有值，对应第i行的第i个点的度数，定义如下：

　　　　利用所有点之间的权重值，我们可以得到图的邻接矩阵，它也是一个nxn的矩阵，第i行的第j个值对应我们的权重。

　　　　除此之外，对于点集的的一个子集，我们定义：

3. 谱聚类基础之二：相似矩阵

　　　　在上一节我们讲到了邻接矩阵，它是由任意两点之间的权重值组成的矩阵。通常我们可以自己输入权重，但是在谱聚类中，我们只有数据点的定义，并没有直接给出这个邻接矩阵，那么怎么得到这个邻接矩阵呢？

　　　　基本思想是，距离较远的两个点之间的边权重值较低，而距离较近的两个点之间的边权重值较高，不过这仅仅是定性，我们需要定量的权重值。一般来说，我们可以通过样本点距离度量的相似矩阵来获得邻接矩阵。

　　　　构建邻接矩阵的方法有三类。-邻近法，K邻近法和全连接法。

　　　　对于-邻近法，它设置了一个距离阈值，然后用欧式距离度量任意两点和的距离。即相似矩阵的, 然后根据和的大小关系，来定义邻接矩阵如下：

　　　　从上式可见，两点间的权重要不就是,要不就是0，没有其他的信息了。距离远近度量很不精确，因此在实际应用中，我们很少使用-邻近法。

　　　　第二种定义邻接矩阵的方法是K邻近法，利用KNN算法遍历所有的样本点，取每个样本最近的k个点作为近邻，只有和样本距离最近的k个点之间的。但是这种方法会造成重构之后的邻接矩阵W非对称，我们后面的算法需要对称邻接矩阵。为了解决这种问题，一般采取下面两种方法之一：

　　　　第一种K邻近法是只要一个点在另一个点的K近邻中，则保留

　　　　第二种K邻近法是必须两个点互为K近邻中，才能保留

　　　　第三种定义邻接矩阵的方法是全连接法，相比前两种方法，第三种方法所有的点之间的权重值都大于0，因此称之为全连接法。可以选择不同的核函数来定义边权重，常用的有多项式核函数，高斯核函数和Sigmoid核函数。最常用的是高斯核函数RBF，此时相似矩阵和邻接矩阵相同：

　　　　在实际的应用中，使用第三种全连接法来建立邻接矩阵是最普遍的，而在全连接法中使用高斯径向核RBF是最普遍的。

4. 谱聚类基础之三：拉普拉斯矩阵

　　　　单独把拉普拉斯矩阵(Graph Laplacians)拿出来介绍是因为后面的算法和这个矩阵的性质息息相关。它的定义很简单，拉普拉斯矩阵。即为我们第二节讲的度矩阵，它是一个对角矩阵。而即为我们第二节讲的邻接矩阵，它可以由我们第三节的方法构建出。

　　　　拉普拉斯矩阵有一些很好的性质如下：

　　　　1）拉普拉斯矩阵是对称矩阵，这可以由和都是对称矩阵而得。

　　　　2）由于拉普拉斯矩阵是对称矩阵，则它的所有的特征值都是实数。

　　　　3）对于任意的向量,我们有

　　　　　　这个利用拉普拉斯矩阵的定义很容易得到如下：

　　　　4) 拉普拉斯矩阵是半正定的，且对应的n个实数特征值都大于等于0，即，且最小的特征值为0，这个由性质3很容易得出。

5. 谱聚类基础之四：无向图切图

　　　　对于无向图的切图，我们的目标是将图切成相互没有连接的k个子图，每个子图点的集合为：，它们满足,且.

　　　　对于任意两个子图点的集合, , 我们定义A和B之间的切图权重为：

　　　　那么对于我们k个子图点的集合：，我们定义切图cut为：

　　　　其中为的补集，意为除子集外其他V的子集的并集。

　　　　那么如何切图可以让子图内的点权重和高，子图间的点权重和低呢？一个自然的想法就是最小化, 但是可以发现，这种极小化的切图存在问题，如下图：

　　　　我们选择一个权重最小的边缘的点，比如C和H之间进行cut，这样可以最小化, 但是却不是最优的切图，如何避免这种切图，并且找到类似图中"Best Cut"这样的最优切图呢？我们下一节就来看看谱聚类使用的切图方法。

6. 谱聚类之切图聚类

　　　　为了避免最小切图导致的切图效果不佳，我们需要对每个子图的规模做出限定，一般来说，有两种切图方式，第一种是RatioCut，第二种是Ncut。下面我们分别加以介绍。

6.1 RatioCut切图

　　　　RatioCut切图为了避免第五节的最小切图，对每个切图，不光考虑最小化，它还同时考虑最大化每个子图点的个数，即：

　　　　那么怎么最小化这个RatioCut函数呢？牛人们发现，RatioCut函数可以通过如下方式表示。

　　　　我们引入指示向量,对于任意一个向量, 它是一个n维向量（n为样本数），我们定义为：

　　　　那么我们对于,有：

　　　　上述第（1）式用了上面第四节的拉普拉斯矩阵的性质3. 第二式用到了指示向量的定义。可以看出，对于某一个子图i，它的RatioCut对应于,那么我们的k个子图呢？对应的RatioCut函数表达式为：

　　　　其中为矩阵的迹。也就是说，我们的RatioCut切图，实际上就是最小化我们的。注意到,则我们的切图优化目标为:

　　　　注意到我们H矩阵里面的每一个指示向量都是n维的，向量中每个变量的取值为0或者，就有种取值，有k个子图的话就有k个指示向量，共有种H，因此找到满足上面优化目标的H是一个NP难的问题。那么是不是就没有办法了呢？

　　　　注意观察中每一个优化子目标,其中是单位正交基， L为对称矩阵，此时的最大值为L的最大特征值，最小值是L的最小特征值。如果你对主成分分析PCA很熟悉的话，这里很好理解。在PCA中，我们的目标是找到协方差矩阵（对应此处的拉普拉斯矩阵L）的最大的特征值，而在我们的谱聚类中，我们的目标是找到目标的最小的特征值，得到对应的特征向量，此时对应二分切图效果最佳。也就是说，我们这里要用到维度规约的思想来近似去解决这个NP难的问题。

　　　　对于，我们的目标是找到最小的L的特征值，而对于，则我们的目标就是找到k个最小的特征值，一般来说，k远远小于n，也就是说，此时我们进行了维度规约，将维度从n降到了k，从而近似可以解决这个NP难的问题。

　　　　通过找到L的最小的k个特征值，可以得到对应的k个特征向量，这k个特征向量组成一个nxk维度的矩阵，即为我们的H。一般需要对H里的每一个特征向量做标准化，即.

　　　　由于我们在使用维度规约的时候损失了少量信息，导致得到的优化后的指示向量h对应的H现在不能完全指示各样本的归属，因此一般在得到nxk维度的矩阵H后还需要对每一行进行一次传统的聚类，比如使用K-Means聚类.