数据挖掘经典算法之：K-means算法

一.K-means算法定义：

K-Means 是一种基于距离的排他的聚类划分方法。

上面的 K-Means 描述中包含了几个概念：

• 聚类（Clustering）：K-Means 是一种聚类分析（Cluster Analysis）方法。聚类就是将数据对象分组成为多个类或者簇 (Cluster)，使得在同一个簇中的对象之间具有较高的相似度，而不同簇中的对象差别较大。

• 划分（Partitioning）：聚类可以基于划分，也可以基于分层。划分即将对象划分成不同的簇，而分层是将对象分等级。

• 排他（Exclusive）：对于一个数据对象，只能被划分到一个簇中。如果一个数据对象可以被划分到多个簇中，则称为可重叠的（Overlapping）。

• 距离（Distance）：基于距离的聚类是将距离近的相似的对象聚在一起。基于概率分布模型的聚类是在一组对象中，找到能符合特定分布模型的对象的集合，他们不一定是距离最近的或者最相似的，而是能完美的呈现出概率分布模型所描述的模型。

二.K-Means 问题描述：

给定一个 n 个对象的数据集，它可以构建数据的 k 个划分，每个划分就是一个簇，并且 k ≤ n。同时还需满足：

1. 每个组至少包含一个对象。

2. 每个对象必须属于且仅属于一个簇。

如图所示，简单的来说，K-means聚类就是把你的对象基于它的特征而 进行分类或分组的一种算法。分组的过程是通过对数据和聚集中心点的距离的平方和的最小化来得到的。所以，K-means聚类的目标是对数据进行分类。

三.K-means算法的流程：

在k-means算法中，用质心来表示cluster；且容易证明k-means算法收敛等同于所有质心不再发生变化。基本的k-means算法流程如下：

（1）选取k个初始质心（作为初始cluster）；

（2）repeat： 对每个样本点，计算得到距其最近的质心，将其类别标为该质心所对应的cluster；

                        重新计算k个cluser对应的质心（通过计算该cluser的均值，将质心移动到均值处）；

（4）until 质心不再发生变化。

对于欧式空间的样本数据，以平方误差和（sum of the squared error, SSE)作为聚类的目标函数，同时也可以衡量不同聚类结果好坏的指标：

表示样本点x到cluster  的质心 距离平方和；最优的聚类结果应使得SSE达到最小值。

下图中给出了一个通过4次迭代聚类3个cluster的例子：

k-means存在缺点：

k-means是局部最优的，容易受到初始质心的影响；比如在下图中，因选择初始质心不恰当而造成次优的聚类结果（SSE较大）

 

• 

同时，k值的选取也会直接影响聚类结果，最优聚类的k值应与样本数据本身的结构信息相吻合，而这种结构信息是很难去掌握，因此选取最优k值是非常困难的。 

四.优化：

为了解决上述存在缺点，在基本k-means的基础上发展而来二分 (bisecting) k-means，其主要思想：一个大cluster进行分裂后可以得到两个小的cluster；为了得到k个cluster，可进行k-1次分裂。算法流程如下：

（1）初始只有一个cluster包含所有样本点；

（2）repeat: 从待分裂的clusters中选择一个进行二元分裂，所选的cluster应使得SSE最小；

（3）until 有k个cluster。

上述算法流程中，为从待分裂的clusters中求得局部最优解，可以采取暴力方法：依次对每个待分裂的cluster进行二元分裂（bisect）以求得最优分裂。二分k-means算法聚类过程如图：

从图中，我们观察到：二分k-means算法对初始质心的选择不太敏感，因为初始时只选择一个质心。