Kmeans 的MapReduce实现原理

1、由InputDriver对原始数据集的一个预处理，输入目录是：testdata，输出目录是：output/data

2、由CanopyDriver发起的对data的初始划分，输入目录是：output/data，输出目录是：output/clusters-0。 这里我们假设样本被划分为了500份小样本文件，分散在cluster中。

3、由KmeansDriver发起的构建Cluster的第一次迭代，输入目录是：output/clusters-0，输出目录是：output/clusters-1

4、由KmeansDriver发起的构建Cluster的第二次迭代，输入目录是：output/clusters-1，输出目录是：output/clusters-2

。。。反复迭代。直至收敛。

好了，下面具体分析，上面第2步划分完以后，HDFS上暂存了500个样本文件，每个样本文件里面有10000个样本点。

这时我们需要两个质心文件（比较小的文件，存了K个质心），一个是原质心文件，另一个是更新的质心文件。

在每个map类中，首先需要的是读取原质心文件，得到K个质心，我们处理1个样本文件，对该样本文件中的每一个样本点进行处理，其中处理过程是计算这个样本点到每个质心的距离，得到最小的，于是可以给出属于哪个质心。这样对该文件中的所有10000个样本点循环玩之后，就可以得到这10000个样本点分别属于哪个质心。

然后经过Combine，shuffle 等负责将 属于具体某一个质心的样本点都归为一类，然后输出。

然后在reduce类中，把 所有500个样本文件都经过map处理后的结果输入给reduce类，这样便可以重新计算出该类的质心。于是reduce中便能更新这K个质心，将新的结果写入到跟新的质心文件中去。

最后用到那个Driver类。该类作用是不断提交mapreduce作业。然后每一轮作业后，比较新的质心文件和旧质心文件的差别，如果足够接近，则停止迭代。否则就用新的质心文件替代旧质心文件，进入下一次迭代。

参考

http://blog.csdn.net/jdplus/article/details/23960127

http://www.cnblogs.com/zhangchaoyang/articles/2634365.html

http://www.cnblogs.com/vivounicorn/archive/2011/10/08/2201986.html