k-meas算法

k-means & KNN

k-means与kNN虽然都是以k打头，但却是两类算法——kNN为监督学习中的分类算法，而k-means则是非监督学习中的聚类算法；
二者相同之处：均利用近邻信息来标注类别。

k-means基本算法

在k-means算法中，用质心来表示cluster；且容易证明k-means算法收敛等同于所有质心不再发生变化。基本的k-means算法流程如下：

选择K个点作为初始质心  
repeat  
将每个点指派到最近的质心，形成K个簇  
重新计算每个簇的质心  
until 簇不发生变化或达到最大迭代次数 

对于欧式空间的样本数据，以平方误差和（sum of the squared error, SSE)作为聚类的目标函数，同时也可以衡量不同聚类结果好坏的指标：

$$SSE=\sum\limits_{i=1}^{k} \sum_{x\in C_{i}} dist(x, c_i)^2$$ 表示样本点 $x$到cluster Ci $C_i$