3、MapReduce机制

原创 2015年11月21日 14:52:33

MapReduce是Hadoop重要组成部分,主要包含map、shuffle和reduce过程。

1)  在集群中任意主机运行job程序;

2)  向jobtracker申请jobID

3)  通过HDFS散发文件,拷贝

4)  提交作业

5)  Jobtracker初始化工作

6)  Jobtracker向HDFS中的namenode询问文件信息

7)  Tasktracker与jobtracker心跳机制,确定taskTracker

8)  Tasktracker向HDFS申请文件

9)  taskTracker开始假设jvm,运行job


版权声明:本文为博主原创文章,未经博主允许不得转载。

MapReduce工作机制参考

  • 2015年11月13日 17:37
  • 22.7MB
  • 下载

MapReduce进阶,函数运行机制以及逻辑详解

通过一个小程序,理解mapReduce的逻辑,以及函数方法运行的机制。 虽然例子举得不太好,看完有种没必要的感觉,但是有助于新手理解mapreduce。 不讲原理,只讲代码和逻辑。 求班...

mapreduce任务失败、重试、推测式执行机制小结

mapreduce中我们自定义的mapper和reducer程序在执行后有可能遇上出错退出的情况,mapreduce中jobtracker会全程追踪任务的执行情况,对于出错的任务mapreduce也定...

Hadoop 培训课程(3)MapReduce_1

  • 2014年05月07日 16:10
  • 3.43MB
  • 下载

MapReduce的容错机制

Failures 在现实世界中,难免遇到用户代码的错误、进程崩溃、机器宕机等情况。使用Hadoop的一个好处是它有能力处理这些失败,使你的job能够成功完成。我们需要考虑以下实体的失败:task、a...

mapreduce的shuffle机制(来自学习笔记)

3. MAPREDUCE原理篇(2)3.1 mapreduce的shuffle机制3.1.1 概述:v  mapreduce中,map阶段处理的数据如何传递给reduce阶段,是mapreduce框架...

mapReduce使用分布式缓存机制

由于有时候reduce value值数量的不确定性可能会造成数据倾斜,可以考虑使用分布式缓存机制,仅用map进行输出。mapreduce中具体的函数为job.addCacheFile(new URI(...
  • ymybxx
  • ymybxx
  • 2017年11月23日 18:15
  • 43
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:3、MapReduce机制
举报原因:
原因补充:

(最多只允许输入30个字)