关闭

3、MapReduce机制

标签: mapreducehadoop大数据云计算
279人阅读 评论(0) 收藏 举报
分类:

MapReduce是Hadoop重要组成部分,主要包含map、shuffle和reduce过程。

1)  在集群中任意主机运行job程序;

2)  向jobtracker申请jobID

3)  通过HDFS散发文件,拷贝

4)  提交作业

5)  Jobtracker初始化工作

6)  Jobtracker向HDFS中的namenode询问文件信息

7)  Tasktracker与jobtracker心跳机制,确定taskTracker

8)  Tasktracker向HDFS申请文件

9)  taskTracker开始假设jvm,运行job


0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:45657次
    • 积分:1255
    • 等级:
    • 排名:千里之外
    • 原创:74篇
    • 转载:38篇
    • 译文:0篇
    • 评论:0条