k-平均算法

k-平均算法
k-平均算法源于信号处理中的一种向量量化方法，现在则更多地作为一种聚类分析方法流行于数据挖掘领域。k-平均聚类的目的是：把n个点（可以是样本的一次观察或一个实例）划分到k个聚类中，使得每个点都属于离他最近的均值（此即聚类中心）对应的聚类，以之作为聚类的标准。k-平均聚类倾向于在可比较的空间范围内寻找聚类，期望-最大化技术却允许聚类有不同的形状。
给定表示为d的N个实例的数据集（），将这些N个实例分割成k个聚类S1，…，Sk，使得一些目标函数f（S1，…，Sk）最小化
K是我们事先给定的聚类数，目标函数f也是事先给定的。
该算法主要分为两步：
分配(Assignment)：将每个观测分配到聚类中，使得组内平方和（WCSS）达到最小。因为这一平方和就是平方后的欧氏距离，所以很直观地把观测分配到离它最近得均值点即可。（数学上，这意味依照由这些均值点生成的Voronoi图来划分上述观测）。