Hadoop——JobTracker和TaskTracker,以及如何演变成Yarn架构

MapReduce计算框架是如何实现计算向数据移动的呢?

计算向数据移动面临着诸多问题,如:怎么让机器自动移动,面对block的许多副本,怎么判别移动到的是最合适的Datanode

这个问题牵扯到两个概念:资源管理任务调度

资源管理:掌握各机器当前可用内存,可用CPU等情况
任务调度:根据可用资源,进行计算任务的分配(也就是向哪个Datanode移动)

MapReduce想要完成资源管理和任务调度,需要引进两个新的角色:JobTrackerTaskTracker

JobTracker:负责资源管理,任务调度
TaskTracker:管理被分到Datandoe的计算任务,资源汇报(TaskTracker与JobTracker之间维持心跳,实时汇报当前Datanode资源所剩情况)

JobTracker与TaskTracker之间也是主从结构。

然而推动计算向数据移动的角色是client

  • 4
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值