YARN学习总结-第十四节-YARN-Opportunistic Containers

YARN-Opportunistic Containers

不像已经存在的YARN容器，需要获取资源后才可以被调度到相应的节点，机会容器，允许先调度到相应节点，不会立马运行，但是会排队等待，直到可以获取到资源。机会容器的主要目的是提升集群资源利用率，因此增长任务吞吐量。

编辑配置文件conf/yarn-site.xml开启机会容器

yarn.resourcemanager.opportunistic-container-allocation.enabled

yarn.nodemanager.opportunistic-containers-max-queue-length:默认为0

默认，机会容器的分配是由RM执行。不过，用户可以指定，分布式机会容器分配，可以有效提升短任务的等待时间。

yarn.nodemanager.distributed-scheduling.enabled

当开启机会容器后，下面的新列会出现在节点web页面

每个节点运行的机会容器数量

内存、CPU使用情况

排队的容器。

机会容器的分配与执行

目前默认的容器调度是guaranteed，这样保证，只要不是因为公平性或者容量违规， 一般已经分配的容器不会被抢占，使得任务的执行可以预测。但是这样也带来一些不好的地方。

1.反馈延迟，得到有空闲资源的消息，需要消耗几个心跳时间。

2.资源已经分配 vs 资源已经使用：有可能分配了4G，但是只使用了2G。

机会容器的优先级被保证容器低，意味着它们会被抢占。

当前，我们分配容器基于allocated而不是utilized,所以，目前仅解决小作业等待的问题而不是利用率的问题。

当一个容器被分配到一个NM之后，它的执行取决于从NM可以获取的资源合容器类型。

同时，当一个容器到达NM之后，它需要的资源都会被下载，然后，容器变为SCHEDUED状态。

在RM上，有一个新的服务，OpportunisticContainerAllocatorAMService，

在NM上，有一个新的服务，AMRMProxyService

高级配置

在conf/yarn-site.xml文件中配置如下参数：

yarn.resourcemanager.opportunistic-container-allocation.nodes-used

yarn.resourcemanager.nm-container-queuing.sorting-nodes-interval-ms

yarn.resourcemanager.nm-container-queuing.queue-limit-stdev

yarn.resourcemanager.nm-container-queuing.min-queue-length

yarn.resourcemanager.nm-container-queuing.max-queue-length

yarn.nodemanager.amrmproxy.address

yarn.nodemanager.amrmproxy.client.thread-count

将来计划

增加机会容器排队策略，目前是FIFO

运行时改变容器类型，从机会容器改为保证容器。

可以使用容器技术（Docker），将容器暂时暂停，之后再继续运行。