MapReduce 1.0基本组成结构介绍

MapReduce 1.0基本组成结构介绍
一、JobTracker:
JobTracker是整个MapReduce计算框架中的主服务,相当于集群的管理者,负责整个集群的作业控制和资源管理。
1)作业控制模块,负责作业的分解和状态的监控。
其中,最重要的是状态的监控,主要包括TaskTracker状态监控、作业状态监控、任务状态监控等。其最主要的作用有两个:容错和为任务调度提供决策依据。
2)资源管理模块,是通过一定的策略,将各个节点上的计算资源分配给集群中的任务。

二、TaskTracker:
TaskTracker是HADOOP集群中运行于各个节点上的服务。负责任务的执行和汇报心跳;
1) 任务执行:从JobTracker端接收并执行各种命令(如:启动任务、提交任务、杀死任务、杀死作业、重新初始化等);
2) 汇报心跳:周期性地将所在节点上的各种信息,通过心跳机制汇报给JobTracker。信息包括:节点健康信息、资源使用情况、任务执行进度、任务运行状态等.
  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值