Hadoop-MaperReduce

最新推荐文章于 2023-06-08 18:59:00 发布

catcher007

最新推荐文章于 2023-06-08 18:59:00 发布

阅读量181

点赞数

分类专栏：编程文章标签：分布式 mapreduce java

本文链接：https://blog.csdn.net/m0_37904184/article/details/106434070

版权

本文详细介绍了Hadoop MapReduce作业的生命周期，包括五个步骤：作业提交与初始化、任务调度与监控、任务运行环境准备、任务执行和作业完成。此外，还概述了MapReduce编程模型，包括迭代、映射、分组、规约和保存输出的步骤，以及MapReduce编程接口的基本组件和工具层。新旧MapReduce API的对比也做了说明。

摘要由CSDN通过智能技术生成

Hadoop MapReduce作业的生命周期

Hadoop MapReduce作业的生命周期，即作业从提交到运行结束需要经历的整个过程，概括起来有5个步骤，下面将就这5个步骤做简要概述。
假设用户编写一个MapReduce程序，并将其打包为xxx.jar，然后使用命令提交作业：

$HADOOP_HOME/bin/hadoop jar xxx.jar \
	-D mapred.job.name = "xxx" \
	-D mapred.map.tasks = 3 \
	-D mapred.reduce.tasks = 2 \
	-D input = /xxx/input \
	-D output = /xxx/output

则该过程的运行过程为：
**步骤一：**作业提交与初始化。用户提交作业后，由JobClient实例将作业相关信息（jar包、作业配置文件、分片元信息等上传到分布式文件系统中），其中，分片元信息文件记录了每一个输入分片的逻辑位置信息。然后JobClient通过RPC通知JobTracker。JobTracker收到新作业提交信息后，由作业调度模块对作业进行初始化：为