机器学习之十大经典算法（二）K-Means算法

  （1）K-means简介

k-meansalgorithm算法是一个聚类算法，把n的对象根据他们的属性分为k个分割，k < n。假设对象属性来自于空间向量，并且目标是使各个群组内部的均方误差总和最小。

      假设有k个群组S_i, i=1,2,...,k。μ_i是群组S_i内所有元素x_j的质心，或叫中心点。

k平均聚类发明于1956年， 该算法最常见的形式是采用被称为劳埃德算法(Lloydalgorithm)的迭代式改进探索法。劳埃德算法首先把输入点分成k个初始化分组，可以是随机的或者使用一些启发式数据。然后计算每组的中心点，根据中心点的位置把对象分到离它最近的中心，重新确定分组。继续重复不断地计算中心并重新分组，直到收敛，即对象不再改变分组（中心点位置不再改变）。

劳埃德算法和k平均通常是紧密联系的，但是在实际应用中，劳埃德算法是解决k平均问题的启发式法则，对于某些起始点和重心的组合，劳埃德算法可能实际上收敛于错误的结果。虽然存在变异，但是劳埃德算法仍旧保持流行，因为它在实际中收敛非常快。实际上，观察发现迭代次数远远少于点的数量。然而最近，David Arthur