聚类分析: k-means算法

k-means算法

聚类分析是数据分析中，非常重要的一类课题。他的作用是将大量的无标签数据通过计算，自动为其标注标签。众所周知，这一点是区别于数据分类技术的。而现实的场景中，无标签的数据显然多于有标签数据，因此，我在这里也是先说聚类，后面的博文，再说分类。

聚类的目的，是要将数据归为不同的类，基本原则是要相近的数据尽量归为一类，而不同类之间的数据则要尽量有比较大的差别。

说到聚类，当然最先想到的就是k-means算法。它不仅是最简单的聚类算法，也是最普及且最常用的。k-means算法是一种基于形心的划分数据的方法。我们给定一个数据集$D$，以及要划分的簇数$k$，就能通过该算法将数据集划分为$k$个簇。一般来说，每个数据项只能属于其中一个簇。具体方法可以这样描述：

1. 假设数据集在一个$m$维的欧式空间中，我们初始时，可随机选择$k$个数据项作为这$k$个簇的形心$C_i, i \in \{1, 2, \dots k\}$，每个簇心代表的其实是一个簇，也就是一组数据项构成的集合。然后对所有的$n$个数据项，计算这些数据项与$C_i$的距离（一般情况下，在欧式空间中，数据项之间的距离用欧式距离表示）。比如对于数据项$D_j, j \in \{1, \dots n\}$，它与其中的一个簇心