通俗理解谱聚类算法

谱聚类(Spectral Clustering, SC)是一种基于图论的聚类方法。

将带权无向图划分为两个或两个以上的最优子图,使子图内部尽量相似,而子图间距离尽量距离较远,以达到常见的聚类的目的。

"带权无向图"这个词太学术了,我们换一种叫法,即:相似度矩阵。

假设我们有一个相似度矩阵,矩阵中存的是所有对象的两两相似度。

 

那么这个矩阵应该有如下性质:

  1. 矩阵为N * N,N为对象总数
  2. 矩阵对角线的值为0,自己和自己相似个毛啊
  3. 矩阵为对称矩阵,及相似度是无向的

我们将该矩阵记为:W。

 

谱聚类的任务就是根据这个相似度矩阵,将这一大堆对象,分成不同的小堆,小堆内部的对象彼此都很像,小堆之间则不像。

 

谱聚类本身也提供了好几种不同的分割(cut)方法,每种方法对应一种优化目标。

本文只介绍其中比较常见,也是比较实用,而且实现起来也比较经济的一种:Nomarlized cut.

 

说白了,就是你最应该掌握和使用的一种,好了,进入正题。

 

当你得到一个相似度矩阵W后,即可通过以下几个步骤,来得到对应的图分割方案:

1. 计算对角矩阵D[N*N]。,公式如下:  

 

 

 

 

   D矩阵为对角矩阵,对角线上的值为W矩阵中对应行或列的和。

 

2. 计算拉普拉斯矩阵(Laplacian) L:

3.  归一化L矩阵

4. 计算归一化后L矩阵的K个最小特征值及对应的特征向量

    将K个特征向量竖着并排放在一起,形成一个N*K的特征矩阵,记为Q。

 

5. 对特征矩阵Q做kmeans聚类,得到一个N维向量C。

    分别对应相似度矩阵W中每一行所代表的对象的所属类别,这也就是最终的聚类结果。

 

此外:

关于第3步中,对拉普拉斯矩阵归一化时,归一化公式进行变换得到:

 

 

            令:

 

 

则在第4步中,我们可以将求L的K个最小特征值及其对应的特征向量的问题,转化为求矩阵E的K个最大的特征值及其对应的特征向量。

        ---可以证明:L的K个最小特征值对应的特征向量,分别对应于E的K个最大的特征值对应的特征向量。

            且矩阵L的最小特征值为0,对应于矩阵E最大的特征值为1.矩阵L的第K小特征值等于1-矩阵E的第K大特征值

 

之所以要这么做,是因为在数值计算中,求矩阵的最大特征值,往往要比求最小特征值更方便和高效。

 

OK,至此,谱聚类就完成了,关于谱聚类的其他问题,诸如公式的推导,以及谱聚类的物理意义等,可参考博文:谱聚类算法

 

谱聚类的实现很简单,按照上述5个步骤按部就班即可,在matlab中只需寥寥数行:

 

Matlab代码   收藏代码
  1. function C = SpectralClustering(W, k)  
  2.     [n,m] = size(W)    
  3.     s = sum(W);  
  4.     D = full(sparse(1:n, 1:n, s));  
  5.     E = D^(-1/2)*W*D^(-1/2);  
  6.     [Q, V] = eigs(E, k);  
  7.     C = kmeans(Q, k);  
  8. end  

 

在整个实现过程中,比较麻烦的就是E矩阵特征值的求解。

在自己实现时,可以调用已有的线性代数的包来完成这一步。

K-Means 聚类算法可以用于实现图片的前景和背景分割。在这个问题中,将图片视为数据集的样本,每个像素点作为一个样本点。K-Means 算法通过将样本点分配到离它们最近的聚类中心来进行聚类。对于图片前景后景分割的任务,可以使用两个聚类中心,一个表示前景,一个表示背景。根据像素点的特征(如颜色、纹理等),将它们分配到离它们最近的聚类中心,从而实现前景和背景的分割。 具体实现时,可以使用以下步骤: 1. 将图片转换为数据集,每个像素点作为一个样本点。 2. 初始化两个聚类中心,一个代表前景,一个代表背景。 3. 重复以下步骤,直到满足停止条件: a. 计算每个样本点与聚类中心之间的距离。 b. 将每个样本点分配到距离最近的聚类中心。 c. 更新聚类中心为分配给它们的样本点的平均值。 4. 最终,得到的聚类中心就表示了前景和背景。 通过这样的步骤,K-Means 聚类算法可以将图片中的前景和背景进行有效的分割。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [全网最通俗易懂的聚类算法!嘿,来聚个类!](https://blog.csdn.net/c406495762/article/details/116138720)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值