MapReduce编程
文章平均质量分 69
WeiJiFeng_
这个作者很懒,什么都没留下…
展开
-
MapReduce编程 一步步地教你开启 第一个程序wordcount
目录 实例描述 设计思路 执行步骤 wordcount代码 总结 实例描述 计算出文件中每个单词的频数,要求输出结果按照单词的字母顺序进行排序,按照key-value格式输出结果。比如输入文件为: hello world hello hadoop hello mapreduce输出文件为: hadoop 1...原创 2018-04-01 16:48:29 · 1312 阅读 · 0 评论 -
一个例子让你了解MapReduce中shuffle的过程
Shuffle目录 一 .Shuffle基本概念 二 .MapReduce 过程为什么需要shuffle过程呢? 三 .Combiner 1 Combiner对系统的优化 四 .Partitioner 1 用数据分区解决数据相关性问题 2 Partitioner主要作用 ...原创 2018-04-02 20:47:57 · 3593 阅读 · 3 评论