关闭

Kmeans 的MapReduce实现原理

188人阅读 评论(0) 收藏 举报
分类:

1、由InputDriver对原始数据集的一个预处理,输入目录是:testdata,输出目录是:output/data

2、由CanopyDriver发起的对data的初始划分,输入目录是:output/data,输出目录是:output/clusters-0。 这里我们假设样本被划分为了500份小样本文件,分散在cluster中。

3、由KmeansDriver发起的构建Cluster的第一次迭代,输入目录是:output/clusters-0,输出目录是:output/clusters-1

4、由KmeansDriver发起的构建Cluster的第二次迭代,输入目录是:output/clusters-1,输出目录是:output/clusters-2

。。。反复迭代。直至收敛。



好了,下面具体分析,上面第2步划分完以后,HDFS上暂存了500个样本文件,每个样本文件里面有10000个样本点。
这时我们需要两个质心文件(比较小的文件,存了K个质心),一个是原质心文件,另一个是更新的质心文件。

在每个map类中,首先需要的是读取原质心文件,得到K个质心,我们处理1个样本文件,对该样本文件中的每一个样本点进行处理,其中处理过程是计算这个样本点到每个质心的距离,得到最小的,于是可以给出属于哪个质心。这样对该文件中的所有10000个样本点循环玩之后,就可以得到这10000个样本点分别属于哪个质心。

然后经过Combine,shuffle 等负责将属于具体某一个质心的样本点都归为一类,然后输出。
然后在reduce类中,把所有500个样本文件都经过map处理后的结果输入给reduce类,这样便可以重新计算出该类的质心。于是reduce中便能更新这K个质心,将新的结果写入到跟新的质心文件中去。


最后用到那个Driver类。该类作用是不断提交mapreduce作业。然后每一轮作业后,比较新的质心文件和旧质心文件的差别,如果足够接近,则停止迭代。否则就用新的质心文件替代旧质心文件,进入下一次迭代。

参考
http://blog.csdn.net/jdplus/article/details/23960127
http://www.cnblogs.com/zhangchaoyang/articles/2634365.html
http://www.cnblogs.com/vivounicorn/archive/2011/10/08/2201986.html
0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:30733次
    • 积分:402
    • 等级:
    • 排名:千里之外
    • 原创:76篇
    • 转载:14篇
    • 译文:0篇
    • 评论:3条
    最新评论