hadoop 中什么是slots

2019独角兽企业重金招聘Python工程师标准>>>

资源slot概述
slot不是cpu的core,不是memory chip,他是一个逻辑概念，一个节点slot的数量表示
某个节点资源的容量或者说是能力的大小，因而slot是hadoop的资源单位
比方说人的工作能力
map slots
reducer slots
现在越来越多的观点认为改改打破这种界限，视为统一的资源池，从而提高资源利用率，区别map slots和reduce slots的概念，容易导致某种资源紧张，而另一种资源空闲，2.x中yarn中取消了map slots和reduce slots的概念，将JobTracker的功能一分为二，用ResourceManager来管理节点资源，用ApplicationMaster来监控与调度作业，ApplicationMaster是每个Application都有的一个单独实例，Application是用户提交的一组任务，可以是一个或多个job的任务组成。
Hadoop中通常每个tasktracker会包含多个slots，Job的一个task均对应于tasktracker中的一个slot。系统中map slots总数与reducer slots总数的计算公式如下：
Map slots总数=集群节点数×mapred.tasktracker.map.tasks.maximum
Reducer slots总数=集群节点数×mapred.tasktracker.reduce.tasks.maximum

转载于:https://my.oschina.net/iioschina/blog/842612