Kmeans 的MapReduce实现原理

1、由InputDriver对原始数据集的一个预处理,输入目录是:testdata,输出目录是:output/data

2、由CanopyDriver发起的对data的初始划分,输入目录是:output/data,输出目录是:output/clusters-0。 这里我们假设样本被划分为了500份小样本文件,分散在cluster中。

3、由KmeansDriver发起的构建Cluster的第一次迭代,输入目录是:output/clusters-0,输出目录是:output/clusters-1

4、由KmeansDriver发起的构建Cluster的第二次迭代,输入目录是:output/clusters-1,输出目录是:output/clusters-2

。。。反复迭代。直至收敛。



好了,下面具体分析,上面第2步划分完以后,HDFS上暂存了500个样本文件,每个样本文件里面有10000个样本点。
这时我们需要两个质心文件(比较小的文件,存了K个质心),一个是原质心文件,另一个是更新的质心文件。

在每个map类中,首先需要的是读取原质心文件,得到K个质心,我们处理1个样本文件,对该样本文件中的每一个样本点进行处理,其中处理过程是计算这个样本点到每个质心的距离,得到最小的,于是可以给出属于哪个质心。这样对该文件中的所有10000个样本点循环玩之后,就可以得到这10000个样本点分别属于哪个质心。

然后经过Combine,shuffle 等负责将属于具体某一个质心的样本点都归为一类,然后输出。
然后在reduce类中,把所有500个样本文件都经过map处理后的结果输入给reduce类,这样便可以重新计算出该类的质心。于是reduce中便能更新这K个质心,将新的结果写入到跟新的质心文件中去。


最后用到那个Driver类。该类作用是不断提交mapreduce作业。然后每一轮作业后,比较新的质心文件和旧质心文件的差别,如果足够接近,则停止迭代。否则就用新的质心文件替代旧质心文件,进入下一次迭代。

参考
http://blog.csdn.net/jdplus/article/details/23960127
http://www.cnblogs.com/zhangchaoyang/articles/2634365.html
http://www.cnblogs.com/vivounicorn/archive/2011/10/08/2201986.html
阅读更多
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

不良信息举报

Kmeans 的MapReduce实现原理

最多只允许输入30个字

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭