Kmeans系统理论总结上

一、背景

聚类( Cluster analysis)有时也被翻译为簇类，其核心任务是将一组目标object划分为若干个簇，每个簇之间的object尽可能相似，簇与簇之间的object尽可能相异。聚类算法是机器学习(或者说是数据挖掘更合适)中重要的一部分，除了最为简单的K-Means聚类算法外，比较常见的还有层次法(CURE, CHAMELEON等)、网格算法(STING, WaveCluster等)，等等。

二、定义

较权威的聚类问题定义:所谓聚类问题，就是给定一个元索集合D.其中每个元素具有n个可观察属性，使用某种算法将D划分成k个子集，要求侮个子集内部的元索之间相异度尽可能低，而不同子集的元素相异度尽可能高。其中每个子集叫做一个簇。

三、特征

K-means聚类属于无监督学习，以往的回归、朴索贝叶斯、SVM等都是有类别标签Y的，也就是说样例中已经给出了样例的分类。而聚类的样本中却没有给定Y，只有特征x，比如假设宇宙中的星星可以表示成三维空间中的点集(x,y,z）。聚类的目的是找到每个样本x潜在的类别 y，并将同类别y的样本x放在一起。比如上面的星星，聚类后结果是一个个星团，星团里面l的点相互距离比较近，星团间的星星距离就比较远了。

四、联系

与分类不同，分类是示例式学习，要求分类前明确各个类别，并断言每个元素映射到一个类别。而聚类是观察式学习，在聚类前可以不知道类别甚至不给定类别数量，是无监督学习的一种。目前聚类广一泛应用于统计学、生物学、数据库技术和市场营销等领域，相应的算法也非常多。、

五、解析算法

（一）作用

K-Means是聚类的一个算法，是个无监督学习，日标是将一部分实体根据某种意义上的相似度和另一部分实体聚在一起。聚类通常被用于探索性的分析。

（二）算法步骤

算法：

(1)选择K个点作为初始中心。

(2)将每个点指派到最近的中心，形成K个簇(聚类)。

(3)重新计算每个簇的中心。

(4)重复(2)~(3).直至中心不发生变化。

 

（三）MLlib K-Means

1、MLlib K-Means的实现中包含一个k-means++方法的并行化变体kmeans||

2、MLlib里面的实现有如下的参数:

（1）k是所需的类簇的个数；

（2）maxlterations是最大的迭代次数;

（3）initializationMode这个参数决定了是用随机初始化还是通过k-means||进行初始化:

（4）runs是跑k-means算法的次数(k-mean算法不能保证能找出最优解，如果在给定的数据集上运行多次，算法将会返回最佳的结果;

（5）initializiationSteps决定了k-means||算法的步数;

（6）epsilon决定了r}J断k-means是一否收敛的距离阀值。

3、在聚类问题中，给我们的训练样本是{x1,...,xm },每个Xi E R"，没有y.   K-means算法是将样本聚类成k个簇(cluster),具体算法描述如下:

 

K是找们事先给定的聚类数，

c’代表样例i与k个类中距离最近的那个类，c'的值是1到k中的一个，

质心u’代表我们对属于同一个类的样本中心点的猜测。

以星团模型来解释，就是要将所有的星星聚成k个星团.首先随机选取k个宇宙中的点(或者k个星星)作为k个星团的质心，然后第步对J几耳一个星旱计算其到k个质}G}中每一个的距离，然后选取距离最近的那个星团作为C' ，这样经过第一步后每一个星星都有了所属的星团;第二步对于每一个星团，重新计算它的质心u’(对里面所有的星星坐标求平均值)。重复迭代第一步和第二步，直到质心不变或者变化很小。

 

4、 K-means 面对的第一个问题是如何保证收敛，前面的算法中强调结束条件就是收敛，可以证明的是K-means完全可以保证收敛性。下面我们定性地描述一下收敛性，我们定义畸变函数(distortion function)}如下:

   

 J函数表示每个样本点到其质心的距离平方和。K-means是要将J调整到最小。假设当前J没有达到最小值，那么首先可以固定个类的质心ui，调整每个样例的所属的类ci来让J函数减少，同样，固定c’调整每个类的质心肠也可以使J减小。这两个过程就是内循环中使J单调递减的过程。当J递减到最小时，u和c也同时收敛(在理论上，可以有多组不同的u和c值能够使得J取得最小值，但这种现象实际上很少见)。

  由于畸变函数J是非凸函数，意味着我们不能保证取得的最小值是全局最小值，也就是说，k-means对质心初始位置的选取比较重要，但一般情况下k-means达到的局部最优已经满足需求。但如果担心陷入局部最优，那么可以选取不同的初始值跑多遍k-means，然后取其中最小的J对应的u和c输出。

5、

对应于K-means来说，就是我们一开始不知道每个样例x' 对应隐含变量也就是最佳类别c'。最开始可以随便指定一个c'给它，然后为了让P(x,v)最大(这里是要让J最小)，我们求出在给定c情况下，J最小时的ui(前面提到的其他未知参数)，然而此时发现，可以有更好的c' （质心与样例X'距离最小的类别)指定给样例x‘那么C’得到重新调整，上述过程就开始重复了，直到没有更好的c'指定。这样从K-means里我们可以看出它其实就是EM的体现，E步是确定隐含类别变量，M步更新其他参数u来使J最小化。这里的隐含类别变量指定方法比较特殊，属于硬指定，从k个类别中硬选出一个给样例，而不是对每个类别赋予不同的概率。总体思想还是一个迭代优化过程，有目标函数，也有参数变量，只是多了个隐含变量，确定其他参数估计一隐含变量，再确定隐含变量估计其他参数，直至目标函数最优。

 

（四）源码解析

    MLlib 中的K-Means的原理是:在同一个数据集上，跑多个KMeans算法(每个称为一个run），然后返回效果最好的那个聚类的类簇中心。初始的类簇中心点的选取有两种方法，一种是随机，另一种是采用KMeans|| ( KMeans++的一个变种)。算法的停止条件是迭代次数达到设置的次数，或者在某一次迭代后所有run的KMeans算法都收敛。