KMeans聚类算法实现

目录

1. K-Means的工作原理

2.Kmeans损失函数

3.Kmeans优缺点

4.编写KMeans算法实现类

5.KMeans算法测试

6.结果

---

       Kmeans是一种无监督的基于距离的聚类算法，其变种还有Kmeans++。其中，sklearn中KMeans的默认使用的即为KMeans++。使用sklearn相关算法API的调用案例可参考博主另一篇文章：KMeans算法实现图像分割。本文主要通过纯手写的方式，帮助学习理解KMeans算法的数据处理过程。

1. K-Means的工作原理

       在K-Means算法中，簇的个数K是一个超参数，需要人为输入来确定。K-Means的核心任务就是根据设定好的K，找出K个最优的质心，并将离这些质心最近的数据分别分配到这些质心代表的簇中去。具体过程可以总结如下：

• 首先随机选取样本中的K个点作为聚类中心；
• 分别算出样本中其他样本距离这K个聚类中心的距离，并把这些样本分别作为自己最近的那个聚类中心的类别；
• 对上述分类完的样本再进行每个类别求平均值，求解出新的聚类质心；
• 与前一次计算得到的K个聚类质心比较，如果聚类质心发生变化，转过程b，否则转过程e；
• 当质心不发生变化时（当我们找到一个质心，在每次迭代中被分配到这个质心上的样本都是一致的，即每次新生成的簇都是一致的，所有的样本点都不会再从一个簇转移到另一个簇，质心就不会变化了），停止并输出聚类结果。

综上，K-Means 的算法步骤能够简单概括为：

1-分配：样本分配到簇。

2-移动：移动聚类中心到簇中样本的平均位置。

2.Kmeans损失函数

和其他机器学习算法一样，K-Means 也要评估并且最小化聚类代价，在引入 K-Means 的代价函数之前，先引入如下定义：

引入代价函数：