聚类算法K-Means, K-Medoids, GMM, Spectral clustering,Ncut

机器学习与图像处理 专栏收录该内容
66 篇文章 1 订阅

聚类算法是ML中一个重要分支,一般采用unsupervised learning进行学习,本文根据常见聚类算法分类讲解K-Means, K-Medoids, GMM, Spectral clustering,Ncut五个算法在聚类中的应用。




Clustering Algorithms分类

1. Partitioning approach:

        建立数据的不同分割,然后用相同标准评价聚类结果。(比如最小化平方误差和)

        典型算法:K-Means, K-Medoids

2. Model-based:

       对于每个类假定一个分布模型,试图找到每个类最好的模型

       典型算法:GMM(混合高斯) 

3. Dimensionality Reduction Approach:

       先降维,再聚类

       典型算法:Spectral clustering,Ncut


下面分别解析~




1. Partitioning approach

1.目标:

       找出一个分割,使得距离平方和最小


2.方法:

       Global optimal : 枚举所有partition

       Heuristic method:K-Means, K-Medoids


3.K-Means算法:

       1. 将数据分为k个非空子集

       2. 计算每个类中心点(k-means<centroid>中心点是所有点的average),记为seed point

       3. 将每个object聚类到最近seed point

       4. 返回2,当聚类结果不再变化的时候stop


复杂度:

       O(kndt)

       -计算两点间距离:d

       -指定类:O(kn)   ,k是类数

       -迭代次数上限:t


4.K-Medoids算法:

       1. 随机选择k个点作为初始medoid

       2.将每个object聚类到最近的medoid

       3. 更新每个类的medoid,计算objective function 

       4. 选择最佳参数

       4. 返回2,当各类medoid不再变化的时候stop


复杂度:

       O((n^2)d)

       -计算各点间两两距离O((n^2)d)

       -指定类:O(kn)   ,k是类数


5.特点:

       -聚类结果与初始点有关(因为是做steepest descent from a random initial starting oint)

       -是局部最优

       -在实际做的时候,随机选择多组初始点,最后选择拥有最低TSD(Totoal Squared Distance)的那组


6. KMeans和KMedoid的实现





2. Model-based——GMM(Gaussian Mixture Model)

1.GMM概念:

          -将k个高斯模型混合在一起,每个点出现的概率是几个高斯混合的结果。




          -假设有K个高斯分布,每个高斯对data points的影响因子为πk,数据点为x,高斯参数为theta,则


          -要估计的模型参数为每个类的影响因子πk,每个类的均值(μk)及协方差矩阵(Σk)




2. GMM的似然函数:

          log-likelihood function:

          假设N个点的分布符合i.i.d,则有似然函数


          问题是,对于这样的一个似然函数,用gradient descent的方法很难进行参数估计(可证明)

          所以用前面我们讲过的EM(expectation maximization)算法进行估计:


          引入中间latent项z(i),其分布为Q,用EM算法,就有上面的恒等,那么为什么是恒等呢?来看看讲EM的这篇文章,第三张的开头写的,=constant,也就是说与z(i)无关了,而等于p(x(i);theta),这也就是说可以用混合高斯模型的概率表示了。





3. EM具体应用到GMM参数求解问题:

E-step: 根据已有observed data和现有模型估计missing data:Qi(zk)

M-step: 已经得到了Q,在M-step中进行最大似然函数估计(可以直接用log-likelihood似然函数对参数求偏导)




4. GMM的实现



5. K-Means与GMM的比较:

          

          -KMeans:

1. Objective function:§Minimize the TSD
2. Can be optimized by an EM algorithm.
          §E-step: assign points to clusters.
          §M-step: optimize clusters.
          §Performs hard assignment during E-step.
3. Assumes spherical clusters with equal probability of a cluster.


          -GMM:

1. Objective function:§Maximize the log-likelihood.
2. EM algorithm:
          §E-step: Compute posterior probability of membership.
          §M-step: Optimize parameters.
          §Perform soft assignment during E-step.
3. Can be used for non-sphericalclusters. Can generate clusterswith different probabilities.





3. Dimensionality Reduction Approach: Spectral Clustering 


1. Spectral clustering要解决的问题:

上面的KMeans不能能解决一些问题,如图所示:


而这种问题可以通过谱聚类(spectral clustering)解决。将数据展开到两个特征向量空间,即得:


下面我们介绍谱分解的算法~





2.clustering objectives:

          将边权赋值为两点之间的similarity,做聚类的目标就是最小化类间connection的weight。



比如对于下面这幅图,分割如下


          但是这样有可能会有问题,比如:


由于Graph cut criteria 只考虑了类间差小,而没考虑internal cluster density.所以会有上面分割的问题。这里引入Normalised-cut(Shi & Malik, 97')。



3. 改进版:Ncut

          -consider the connection between groups relative to the density of each group:


          其中,vol 是每个group的volume,也就是normalize by group volume.


          最后的目标是最小化Ncut(A,B).



4. Ncut 的求解:

          -Matrix Representation:


          -Objective Function of Ncut:




详见wiki上的求解过程,这里不再赘述。







关于Machine Learning更多的学习资料与相关讨论将继续更新,敬请关注本博客和新浪微博Rachel Zhang 

  • 0
    点赞
  • 0
    评论
  • 0
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

相关推荐
程序员的必经之路! 【限时优惠】 现在下单还享四重好礼: 1、教学课件免费下载 2、课程案例代码免费下载 3、专属VIP学员群免费答疑 4、下单还送800元编程大礼包 【超实用课程内容】  根据《2019-2020年中国开发者调查报告》显示超83%的开发者都在使用MySQL数据库。使用量大同时掌握MySQL早已是运维、DBA的必备技能甚至部分IT开发岗位也要求对数据库使用和原理有深入的了解和掌握。 学习编程你可能会犹豫选择 C++ 还是 Java;入门数据科学你可能会纠结于选择 Python 还是 R;但无论如何 MySQL 都是 IT 从业人员不可或缺的技能!   套餐中一共包含2门MySQL数据库必学的核心课程(共98课时)   课程1:《MySQL数据库从入门到实战应用》   课程2:《高性能MySQL实战课》   【哪些人适合学习这门课程?】  1)平时只接触了语言基础并未学习任何数据库知识的人;  2)对MySQL掌握程度薄弱的人课程可以让你更好发挥MySQL最佳性能; 3)想修炼更好的MySQL内功工作中遇到高并发场景可以游刃有余; 4)被面试官打破沙锅问到底的问题问到怀疑人生的应聘者。 【课程主要讲哪些内容?】 课程一:《MySQL数据库从入门到实战应用》 主要从基础篇SQL语言篇、MySQL进阶篇三个角度展开讲解帮助大家更加高效的管理MySQL数据库。 课程二:《高性能MySQL实战课》主要从高可用篇、MySQL8.0新特性篇性能优化篇面试篇四个角度展开讲解帮助大家发挥MySQL的最佳性能的优化方法掌握如何处理海量业务数据和高并发请求 【你能收获到什么?】  1.基础再提高针对MySQL核心知识点学透用对; 2.能力再提高日常工作中的代码换新貌不怕问题; 3.面试再加分巴不得面试官打破沙锅问到底竞争力MAX。 【课程如何观看?】  1、登录CSDN学院 APP 在我的课程中进行学习; 2、移动端:CSDN 学院APP(注意不是CSDN APP哦)  本课程为录播课课程永久有效观看时长 【资料开放】 课件、课程案例代码完全开放给你你可以根据所学知识自行修改、优化。  下载方式:电脑登录课程观看页面点击右侧课件可进行课程资料的打包下载。
©️2020 CSDN 皮肤主题: 编程工作室 设计师:CSDN官方博客 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值