fair调度器slot的配置

     slot,它是资源基本单位。每个TaskTracker上配有一定的map slot(通过参数mapred.tasktracker.map.tasks.maximum配置)和reduce slot(通过参数mapred.tasktracker.reduce.tasks.maximum配置),分别用于运行map task和reduce task。 


    比如一个TaskTracker上配有5个map slot和5个reduce slot,则说明该节点上最多可以同时运行5个map task和5个reduce task。具体每个节点上配置几个slot,完全是你根据节点的资源配置决定。比如一个节点是8核40G内存,你可以设置10个map slot和4个reduce slot(通常而言,map slot与reduce slot总数是核数的1~2倍,但还要考虑具体应用,比如你的作业全是大内存的,可能要考虑内存够不够用)。


    TaskTracker周期性通过心跳向JobTracker汇报自己的状态,包括:空闲slot数,task运行情况,磁盘使用情况等,JobTracker收到心跳信息后,会按照一定的策略为该节点分配一个或者多个task。


    对于Fair Scheduler而言,可通过参数mapred.fairscheduler.assignmultiple配置是否一次分配多个task。 通常而言,对于每个心跳,JobTracker最多为对应TaskTracker分配一个task,但你可通过将该参数设置为true以让它一次分配尽可能多的task。
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值