Hadoop Map/Reduce Overview

最新推荐文章于 2024-11-06 17:41:23 发布

weixin_34066347

最新推荐文章于 2024-11-06 17:41:23 发布

阅读量98

点赞数

文章标签：大数据 shell java

Hadoop MapReduce是一个软件框架(framwork)，这个架构的目的是方便程序员在大规模集群(可大到上千台结点)上处理超大规模数据(可多到数T)，而且MapReduce的可靠性和fault-tolerant特性都很好。

一个MapReduce job 会把输入数据分割成独立的若干块，这些数据块由map tasks并行处理。MapReduce framework把map task的输出进行排序，作为reduce task的输入。通常job的输入和输出都被保存在文件系统中。Framework负责调度，监控这些任务，而且会重复执行那些失败的task。

一般情况下，计算集群和存储集群是一样的，也就是说，MapReduce framework和HDFS是在同一批集群上运行的。这样配置能够让framwork在已经有数据的nodes上面调度tasks，这样使得集群的带宽得到很好的利用。

MapReduce框架由以下组件组成：single master JobTracker，加上集群的每个node上运行着一个slave TaskTracker。Master的职责是调度并监控那些在slave上运行的task，同时对于失败的task，还要尝试着重新执行。Slave只需要简单的执行master分配来的task既可。

应用程序至少要制定输入输出的路径，并且实现map和reduce接口/抽象类。还有一些其他的配置，组成了job configuration。然后Hadoop job client把job(可执行的jar包等等)提交，并且配置JobTracker使得它把jar包以及配置文件传到slave上去，并且调度和监控tasks。

尽管Hadoop框架是用Java^TM实现的，但是MapReduce应用程序却不一定非得用Java写。