Hadoop2.6.0子项目hadoop-mapreduce-examples的简单介绍

最新推荐文章于 2022-08-13 11:37:01 发布

泰山不老生

最新推荐文章于 2022-08-13 11:37:01 发布

阅读量1.9w

点赞数 1

分类专栏：大数据 Java Hadoop Hadoop源码解读与原理剖析文章标签：大数据 hadoop mapreduce 源码 java

本文链接：https://blog.csdn.net/beliefer/article/details/51134796

版权

本文介绍了Hadoop MapReduce的例子运行，通过分析hadoop-mapreduce-examples项目的关键源码，揭示了如何执行例子。文章指出ExampleDriver是jar命令的入口，配置用于调用不同的ProgramDescription实例来执行对应示例。

摘要由CSDN通过智能技术生成

学习Hadoop的同学们，一定知道如果运行Hadoop自带的各种例子，以大名鼎鼎的wordcount为例，你会输入以下命令：

hadoop org.apache.hadoop.examples.WordCount -D mapreduce.input.fileinputformat.split.maxsize=1 /wordcount/input /wordcount/output/result1

当然，有些人还会用以下替代方式：

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount /wordcount/input /wordcount/output/result1

相比于原始的执行方式，使用jar命令方式，让我们不用再敲入繁琐的完整包路径。比如我们知道hadoop-mapreduce-examples项目中还提供了其它的例子，比如计算圆周率的例子，我们只需要记住此应用的简单名字pi，就可以执行它：

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar pi 5 10

虽说我们只是使用这些现成的例子，没有必要较真，但是这种简洁的使用方式，无疑还是值得借鉴的。本文将分析下这种方式实现的原理，有兴趣的

关注

专栏目录