Kmeans 的MapReduce实现原理

原创 2016年08月29日 12:50:36

1、由InputDriver对原始数据集的一个预处理,输入目录是:testdata,输出目录是:output/data

2、由CanopyDriver发起的对data的初始划分,输入目录是:output/data,输出目录是:output/clusters-0。 这里我们假设样本被划分为了500份小样本文件,分散在cluster中。

3、由KmeansDriver发起的构建Cluster的第一次迭代,输入目录是:output/clusters-0,输出目录是:output/clusters-1

4、由KmeansDriver发起的构建Cluster的第二次迭代,输入目录是:output/clusters-1,输出目录是:output/clusters-2

。。。反复迭代。直至收敛。



好了,下面具体分析,上面第2步划分完以后,HDFS上暂存了500个样本文件,每个样本文件里面有10000个样本点。
这时我们需要两个质心文件(比较小的文件,存了K个质心),一个是原质心文件,另一个是更新的质心文件。

在每个map类中,首先需要的是读取原质心文件,得到K个质心,我们处理1个样本文件,对该样本文件中的每一个样本点进行处理,其中处理过程是计算这个样本点到每个质心的距离,得到最小的,于是可以给出属于哪个质心。这样对该文件中的所有10000个样本点循环玩之后,就可以得到这10000个样本点分别属于哪个质心。

然后经过Combine,shuffle 等负责将属于具体某一个质心的样本点都归为一类,然后输出。
然后在reduce类中,把所有500个样本文件都经过map处理后的结果输入给reduce类,这样便可以重新计算出该类的质心。于是reduce中便能更新这K个质心,将新的结果写入到跟新的质心文件中去。


最后用到那个Driver类。该类作用是不断提交mapreduce作业。然后每一轮作业后,比较新的质心文件和旧质心文件的差别,如果足够接近,则停止迭代。否则就用新的质心文件替代旧质心文件,进入下一次迭代。

参考
http://blog.csdn.net/jdplus/article/details/23960127
http://www.cnblogs.com/zhangchaoyang/articles/2634365.html
http://www.cnblogs.com/vivounicorn/archive/2011/10/08/2201986.html
版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

kmeans基于mapreduce的实现

1. main函数读取质心文件2. 将质心的字符串放到configuration中3. 在mapper类重写setup方法,获取到configuration的质心内容,解析成二维数组的形式,代表质心4...

MapReduce实现KMeans

具体方法:k-means的每一次迭代都可以分为以下3个步骤。第一步:Map:对于每一个点,将其对应的最近的聚类中心 第二步:Combine:刚完成map的机器在本机上都分别完成同一个聚类的点的求...

hadoop下实现kmeans算法——一个mapreduce的实现方法

写mapreduce程序实现kmeans算法,我们的思路可能是这样的 1. 用一个全局变量存放上一次迭代后的质心 2. map里,计算每个质心与样本之间的距离,得到与样本距离最短的质心,以...

hadoop下实现kmeans算法——一个mapreduce的实现方法

写mapreduce程序实现kmeans算法,我们的思路可能是这样的1. 用一个全局变量存放上一次迭代后的质心2. map里,计算每个质心与样本之间的距离,得到与样本距离最短的质心,以这个质心作为ke...

mahout中kmeans算法和Canopy算法实现原理

本文讲一下mahout中kmeans算法和Canopy算法实现原理。   一. Kmeans是一个很经典的聚类算法,我想大家都非常熟悉。虽然算法较为简单,在实际应用中却可以有不错的效果;其...

数据挖掘笔记-聚类-KMeans-原理与简单实现

KMeans K-means(k均值)算法是很典型的基于距离的聚类算法,采用距离作为相似性的评价指标,即认为两个对象的距离越近,其相似度就越大。该算法认为簇是由距离靠近的对象组成的,因此把得到紧凑且...

kmeans算法原理及opencv中的实现

算法的目的: 数据分类,聚类,识别 对象和标准: 输入:n个数据对象 输出:k个类别, 且满足方差最小的k个聚类,聚类方差度量 每个对象与聚类的相似度:一般是采用各个对象到聚类中心(...

Kmeans和GMM参数学习的EM算法原理和Matlab实现

本文整理自JerryLead的博文“《K-means聚类算法》 ”,“《(EM算法)The EM Algorithm 》”,“《混合高斯模型(Mixtures of Gaussians)和EM算法 》...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)