Hadoop1.x MapReduce的Slot的理解

2019独角兽企业重金招聘Python工程师标准>>>

1.首先，slot不是CPU的Core，也不是memory chip，它是一个逻辑概念，一个节点的slot的数量用来表示某个节点的资源的容量或者说是能力的大小，因而slot是 Hadoop的资源单位。 

2.Hadoop利用slots来管理分配节点的资源。每个Job申请资源以slots为单位，每个节点会确定自己的计算能力以及memory确定自己包含的slots总量。当某个Job要开始执行时，先向JobTracker申请slots，JobTracker分配空闲的slots，Job再占用slots，Job结束后，归还slots。 

3.每个TaskTracker定期（例如淘宝Hadoop心跳周期是5s）通过心跳(hearbeat)与Jobtracker通信，一方面汇报自己当前工作状态，JobTracker得够某个TaskTracker是否Alive；同时汇报自身空闲slots数量。JobTracker利用某个调度规则，如Hadoop默认调度器FIFO或者CapacityScheduler、FairScheduler等。

4.Hadoop里有两种slots, map slots和reduce slots，map task使用map slots，一一对应，reduce task使用reduce slots。
注：现在越来越多的观点认为应该打破map slots与 reduce slots的界限，应该被视为统一的资源池，they are all resource，从而提高资源的利用率。
区分map slots和reduce slots，容易导致某一种资源紧张，而另一个资源却有空闲。
在Hadoop的下一代框架MapR中，已经取消了map slots与reduce slots的概念，并将Jobtracker的功能一分为二，用ResourceManager来管理节点资源，用ApplicationMaster来监控与调度作业。ApplicationMaster是每个Application都有一个单独的实例，application是用户提交的一组任务，它可以是一个或多个job的任务组成。 

5.Hadoop中通常每个tasktracker会包含多个slots，Job的一个task均对应于tasktracker中的一个slot。系统中map 
slots总数与reducer slots总数的计算公式如下：

• Map slots总数=集群节点数×mapred.tasktracker.map.tasks.maximum 
• Reducer slots总数=集群节点数×mapred.tasktracker.reduce.tasks.maximum 

转载于:https://my.oschina.net/gordonnemo/blog/3025741