k-means算法python代码_K-means、K-means ++、K-modes和K-prototype聚类算法简述 附Python代码...

K-means

K-means属于聚类算法中最简单的一种，也是一种无监督学习的算法。

步骤：

按上图所示，具体步骤如下： 1. 设定初始簇的个数，上图为2 2. 使用欧式距离对簇进行分类，与最近的簇为一类，如上图所示，分为红蓝两类 3. 对已分类的所有数据区均值，取X/Y坐标的平均值，设为新的中心点，如上图c-d的操作 4. 重新对簇进行分类(如步骤2)，如上图d-c的操作 5. 迭代直到结束。

结束迭代的方法有很多，比如收敛达到一定程度后结束迭代，如无法收敛可以设置迭代次数

问题：

1. 需要先验知识，必须给定一个簇，簇多簇少效果是截然不同的。

2. 初始簇中心点对算法影响较大，如果初始值不太好，可能对结果产生较大的影响。 3. 去噪点能力差，误差数据可能会对结果造成较大的影响。 4. 仅适用于球心数据分布

5. 数据比较大时收敛比较慢

解决：

对于中心点的收敛问题，可以使用特殊的求中心点公式： 1. Minkowski Distance 公式 —— λ 可以随意取值，可以是负数，也可以是正数，或是无穷大

2. Euclidean Distance 公式 —— 也就是第一个公式 λ=2 的情况

3. CityBlock Distance 公式 —— 也就是第一个公式 λ=1 的情况

K-means ++

为了解决随机初始点不好并且不知道初始中心点数量的问题，这里可以引入K-means++。 1. 先从数据库随机挑个随机点当“种子点”。

2. 对于每个点，都计算其和最近的一个“种子点”的距离D(x)并保存在一个数组里，然后把这些距离加起来得到Sum(D(x))。

3. 然后，再取一个随机值，用权重的方式来取计算下一个“种子点”。这个算法的实现是，先取一个能落在Sum(D(x))中的随机值Random，然后用Random -= D(x)，直到其<=0，此时的点就是下一个“种子点”。

4. 重复第(2)和第(3)步直到所有的K个种子点都被选出来。

5. 进行K-Means算法。

K-modes

K-modes是K-means用在非数值集合上的一种方法