分组聚集的K-means算法应用实例

概述

在许多实际应用中，需要对许多数据点进行分组，划分成一个个簇（cluster），并计算出每一个簇的中心。这就是著名的k-means算法。

k-means算法的输入是N个d维数据点：x_1, …, x_N，以及需要划分的簇的数目k。算法运行的结果是每个簇的中心点m_1, …, m_k，也可以输出每个簇中有哪些数据点。算法先通过随机，或启发式搜索，确定初始的中心点位置。再通过如下两个步骤的交替，进行数据的计算：
1.数据点划分。根据当前的k个中心点，确定每个中心点所在的簇中的数据点有哪些。即根据当前的中心点的坐标，计算每个点到这些中心点的距离，选取最短的距离相应的簇为该点所在的簇；
2.重新计算中心点：根据每个簇中所有点的坐标，求平均值得到这个簇的新的中心。

此算法不一定收敛，因此通常会选取不同的初始点多次运行算法。

k-means算法可以并行化。使用主从模式，由一个节点负责数据的调度和划分，其他各节点负责本地的中心点的计算，并把结果发送给主节点。因此，可以使用MPI并行编程来实现。大致的过程如下：
1.节点P_0把数据点集划分成p个块：D_1, …,D_p，分配给P_1, …,P_p这个p个节点；
2.P_0产生初始的k个中心点(m_1, …, m_k)，并广播给所有的节点；
3.节点P_r计算块D_r中每个点到k个中心点(m_1, …, m_k)的距离，选取最小值对应的中心点为该点所在的簇。
4.节点P_r分别计算出本地数据点集D_r在每个簇中的总和以及数目，发送给P_0；
5.P_0收到所有这些数据后，计算出新的中心点(m