hadoop
文章平均质量分 71
fengasdfgh
这个作者很懒,什么都没留下…
展开
-
使用hadoop对一组数据排序,求平均值。
1,求平均值 输入文档如下: 基本思路是利用map来产生<1,num>这样的数据,这样reduce处理的数据形式是<1,num1 nmu2 …..>. 代码: import java.io.IOException; import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration; import原创 2017-08-16 15:33:01 · 1183 阅读 · 0 评论 -
MapReduce工作原理讲解
有时候我们在用,但是却不知道为什么。就像苹果砸到我们头上,这或许已经是很自然的事情了,但是牛顿却发现了地球的万有引力。ok了,希望通过了解MapReduce,我们能够写出更好的MapReduce例子。 第一部分:MapReduce工作原理 MapReduce 角色 •Client :作业提交发起者。 •JobTracker: 初始化作业,分配作业,与TaskTracker通信,协调整个作业。转载 2017-05-25 23:51:43 · 373 阅读 · 0 评论