K-Means总结

K-means与KNN

  k-means与kNN虽然都是以k打头，但却是两类算法——kNN为监督学习中的分类算法，而k-means则是非监督学习中的聚类算法；二者相同之处：均利用近邻信息来标注类别。.
  K-Means是无监督的聚类算法，其中K表示类别数，Means表示均值，是一种通过均值对数据点进行聚类的算法。K-Means算法通过预先设定的K值及每个类别的初始质心对相似的数据点进行划分，并通过划分后的均值迭代优化获得最优的聚类结果。

K值及初始质心

  K-Means算法的思想很简单，对于给定的样本集，按照样本之间的距离大小，将样本集划分为K个簇。让簇内的点尽量紧密的连在一起，而让簇间的距离尽量的大。
  其中K值是聚类结果中类别的数量，也就是我数据划分的类别数。K值决定了初始质心的数量。K值为几，就要有几个质心。选择最优K值没有固定的公式或方法，需要人工来指定，建议根据实际的业务需求，或通过层次聚类(Hierarchical Clustering)的方法获得数据的类别数量作为选择K值的参考。这里需要注意的是选择较大的K值可以降低数据的误差，但会增加过拟合的风险。

基本算法

在k-means算法中，用质心来表示cluster；且容易证明k-means算法收敛等同于所有质心不再发生变化。基本的k-means算法流程如下：

选取k个初始质心（作为初始cluster）；
while(新质心 ！= 原质心)
 对每个样本点，计算与其最近的质心的距离（欧式距离），将其类别标为该质心所对应的cluster；
 重新计算k个cluser对应的质心；