k-means聚类算法

说到聚类，得跟分类区别开来，分类是按人为给定的标准将样本归到某个类别中去，在机器学习中多是监督学习，也就是训练样本要给标签（正确的类别信息）；而聚类是在某种规则下自动将样本归类，在机器学习中是无监督学习，不需要提前给样本打标签。

k-means聚类算法，就是在某种度量方式下，将样本自动划分到k个类别中去。比如，我想把随机取的100个点划分为3类，就可以用这种方法来做聚类。这里的k是类别的个数，可以人为给定。

首先，k-means中的种子点初始值可以随意给定，后面会在算法中不断修正；

其次，度量方式也可自选，比如对散点分类中的各种距离，或者样本之间的相似系数等等；

最后，算法中更新种子点的方式亦可自定。（http://www.csdn.net/article/2012-07-03/2807073-k-means 文章中给出了三种更新种子点的方式）

算法：

step-1：任意选定k个种子点（每个种子点代表一个类别）；

step-2：计算所有点（k个种子点可以不算）到k个种子点的“距离”；

step-3：对每个点，选择“距离最小”的种子点，将该点归于相应种子点类别；

step-4：按均值规则（或其他更新方法）更新种子点信息；

step-5：循环step-2到step-4知道种子点不再变换或者达到最大迭代次数。

示例：

在[0,1]上随机撒500个点，按欧式距离将就近分为4类，种子点按均值规则更新，代码在（https://github.com/sophia-hxw/MachineLearning  ）给出，以下是示例结果：

第一张图

随机撒的500个点及用不同颜色标注的任意选定的4个种子点

第二张图

将500个点按距离远近依次归到4个类别中的结果

第三张图

更新一次种子点并重新将500个点按距离归到4类的结果

第四张图

对这500个点和4个初始种子点的最终聚类算法结果图