jobtracker中资源管理和作业控制是如何耦合在一起,导致不能动态调整?

在Hadoop MRv1中,JobTracker的资源管理与作业控制功能高度耦合,这种设计导致资源分配僵化、无法动态调整。以下是具体原因和表现:


1. 功能耦合的体现

JobTracker同时承担以下两大核心职责:

  • 资源管理:管理集群中所有节点的计算资源(如CPU、内存),并将其划分为固定的Map SlotReduce Slot
  • 作业控制:负责作业的调度、任务分配、状态监控、失败重试等。

耦合示例
当一个MapReduce作业提交后,JobTracker需要:

  1. 分配资源:根据预设的Slot数量(例如每个节点2个Map Slot、2个 Reduce Slot),静态划分资源。
  2. 调度任务:将Map任务分配到空闲的Map Slot,Reduce任务分配到Reduce Slot。
  3. 监控状态:持续接收TaskTracker的心跳,处理任务失败或超时。

2. 资源无法动态调整的直接原因

(1) 静态Slot划分
  • 资源分配僵化
    Map Sl
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值