基于MapReduce实现并行化K-means算法

最新推荐文章于 2023-10-31 14:15:39 发布
最新推荐文章于 2023-10-31 14:15:39 发布
阅读量1.4w 收藏 12
点赞数
分类专栏： 学术
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hewei0241/article/details/8279089
版权
本文介绍了如何在MapReduce框架下实现K-Means聚类算法，通过详细步骤展示从节点增加时的性能提升。算法在不同数据量下表现出良好效果，通过Map、Combine和Reduce步骤进行数据处理，优化包括减少通信量和计算量。然而，该方法在并行化处理上缺乏创新优化。
摘要由CSDN通过智能技术生成

阅读报告

阅读文献：WeizhongZhao, H Ma, Q He – Springer “Parallel K-Means Clustering Base on MapReduce”, CloudComputing, 2009

 

解决问题：在分布式文件系统基础下的MapReduce编程模型实现K-Means聚类算法

 

运行效果：从节点增加时的总体速度提升，平均速度下降，数据量增大等多个条件下对算法进行实验，算法表现良好。

 

具体方法：

最低0.47元/天 解锁文章
Vigor
关注
专栏目录
k-means的MapReduce实现
u013638553的专栏
11-02 1369
Mappper package Kmeans; import java.io.IOException; import java.net.URI; import java.util.ArrayList; import java.util.HashMap; import java.util.List; import java.util.Map; import java.ut
基于MapReduce的k-means的并行化实现
zhanghaodx082的专栏
03-16 6460
传统k-means的算法原理： 输入：k 输出：k个簇 过程：首先人为指定k个对象作为簇中心；然后计算每个对象到所有簇中心的距离，每个对象中，距离最小的簇中心为该对象的簇中心，并把该对象划分到该簇中；            对分好的所有簇进行重新计算，得到新的簇中心 ，然后重复上述过程；直到所有簇中心不变。 分析：上述算法中，有些必须串行化实现，有些可以并行化。串行化的部分必须通过轮与轮
基于MapReduce的并行k-means聚类
热门推荐
水浴月
06-02 1万+
摘要：在许多应用上，数据聚类已经受到了广泛的关注，比如数据挖掘、文本检索、图像分割和模式识别。随着科技的进步而逐渐扩大的信息量使大数据聚类变成了一个具有挑战性的任务。为了解决这个问题，许多调查研究者尝试去设计一种高效的并行聚类算法。在这篇文章中，我们提出一种基于MapReduce的并行k-means聚类算法，这是一种简单又强大的并行编程技术。实验结果表明所提出的算法可以大规模而且高效地在廉价的硬件上处理大型数据集。
如何用MapReduce的思路实现K-means算法
weixin_43889733的博客
05-21 1739
对于有n个对象的数据集，如果要聚成k类，Kmeans的基本思路是： 1、首先从这n个对象中随机选择k个对象作为初始的k个簇的中心（就叫做“簇心”吧）； 2、然后将其余的对象分到最近的簇心，如此k个簇就出来了； 3、之后对每个簇，求新的簇心（基本方法是将属于该簇的所有点放在一起求平均值）； 4、重复2、3步（一轮2、3步，可以叫做一次迭代），直到所有的簇心基本不再变化，或者达到指定的重复次数； 5、...
聚类算法的MapReduce并行化分析
beijing20120926的专栏
05-03 924
五一假期，还好没有出去，到处都是堵啊。闲在看看分类、聚类算法、关联算法，现总结一下常见的聚类算法并进行MR分析。 1.K-means基本原理：首先随机的选择K个对象，每个对象代表一个簇的初始均值和中心；对剩余的每个对象，根据其与各个簇的均值的距离，将其指派到最相似的簇。然后计算每个簇的新均值，过程不断重复直到准则函数收敛 效率分析：时间复杂度O（nki）、空间复杂度O（k） MapReduc...
一种K-means改进算法的并行化实现与应用
04-06
本文提出了一种基于Hadoop平台的改进K-means算法，并通过引入Canopy算法实现了算法的优化和并行化。实验结果验证了该算法的有效性和优越性。未来的研究方向可能包括进一步优化并行化策略、探索适用于更多类型数据的...
基于MapReduce的气象数据并行PK-means算法 (2012年)
05-10
由于数据量的过快增长,K-means算法很难满足实际应用需求,根据气象数据的特征,提出一种基于MapReduce的并行聚类算法PK-means,其中Map函数计算数据对象到中心点的距离,并重新标记新的聚类类别,Reduce函数根据中间结果...
hadoop并行化和非并行化的kmeans算法.zip
05-27
包含两种平台上运行的kmeans算法：一种是在Hadoop系统上的并行化kmeans算法，支持读文件，执行聚类算法，输出质心文件，将每个数据的聚类信息输出到控制台上；另一种是串行的聚类算法，支持读文件数据，执行kmeans算法，将每个数据的聚类信息输出到文件中。代码注释清晰。
关于用mapreduce做kmeans聚类以及python的numpy和list做矩阵、向量乘法的速度对比
xiaocanxccc的博客
10-21 1952
关于用mapreduce做kmeans聚类以及python的numpy和list做矩阵、向量乘法的速度对比
MapReduce Kmeans算法含测试数据
weixin_30341745的博客
06-07 244
使用时，需要修改K值，args值 运行流程： 先初始化中心点->map中和距离最近的中心点生成一对传入reduce->reduce中把相同key值的存到一起->更新中心点，计算和上一次的结果偏差是否达到要求，没有的话继续迭代 因为一般来说都是读取文件操作，所以使用String操作更方便 package kmeans; import org.apache.ha...
MapReduce实践编程-Kmeans(使用eclipse)
最新发布
weixin_45332508的博客
10-31 569
实验数据选取自美国zillow房地产评估2017年房产数据，选取其中的经纬度信息进行聚类操作，方便可视化。KMeans算法作为一种划分式的聚类算法，利用MapReduce进行实现的主要难点在于满足KMeans每次迭代划分过程的中间结果保存。2、Mapper中读取数据文件中的每条数据并与中心点进行距离计算，输出key为最近的中心点序号。（可以设置为2，运行时间短一点）4、判断停机条件，不满足则复制新的中心文件到原中心文件，重复2，3步骤。3、Reducer中进行归并，计算新的中心点，存入新的中心文件。
MapReduce实现kmeans算法
勿忘初心的博客
05-17 8499
先来介绍一下kmeans算法的思想：（以下是我自己的理解）： 1.先随机选取几个中心点作为初始的中心点 2.然后根据每个点到这些点的距离远近，找到最近的那个点作为它的中心点，将这些点进行分类。 3.计算每一类的点形成的新的中心点。 重复2，3步。 hadoop中mapreduce的代码我分成了4部分，是有一点的繁琐，但是比较好理解。 第一部分：kmeansInit： 这部...
MapReduce实现KMeans
Yaphat的博客
02-23 2776
具体方法：k-means的每一次迭代都可以分为以下3个步骤。第一步：Map：对于每一个点，将其对应的最近的聚类中心 第二步：Combine：刚完成map的机器在本机上都分别完成同一个聚类的点的求和，减少reduce操作的通信量和计算量。 第三步：reduce：将同一聚类中心的中间数据再进行求和，得到新的聚类中心 k-means 聚类算法进行 MapReduce 的基本思路:对串行算法中
使用Java + MapRedcue实现 K-means 聚类算法和基于散点图的可视化
Resulte的博客
01-16 1767
使用Java + MapRedcue实现 K-means 聚类算法，使用python实现基于散点图的可视化
kmeans基于mapreduce的实现
nextstepfans的博客
06-27 1269
1. main函数读取质心文件2. 将质心的字符串放到configuration中3. 在mapper类重写setup方法，获取到configuration的质心内容，解析成二维数组的形式，代表质心4. mapper类中的map方法读取样本文件，跟所有的质心比较，得出每个样本跟哪个质心最近，然后输出5. reducer类中重新计算质心，如果重新计算出来的质心跟进来时的质心一致，那么自定义的coun
K-Means算法的并行和分布式写法
weixin_51344301的博客
03-08 1385
前段时间学习了并行与分布式技术，写了篇关于KMeans算法的并行和分布式的编程写法
MapReduce并行化实现K-means聚类算法
实验结果通常会展示并行化K-means算法的性能提升，如加速比，即并行计算相对于单机串行计算的速度提升比例，以及系统的可扩展性，即随着集群节点增加，处理能力的增长情况。 此外，论文可能会讨论在实际应用中遇到...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值