Executor动态分配实现原理

简介

ExecutorAllocationManager在SparkContext中创建，基于工作负载通过后台定时线程来动态分配、移除Executor资源及取消多余的executor申请。ExecutorAllocationManager保存一个动态目标数量的executor信息，并定时周期同步给cluster manager。开始时从配置信息中得到目标executor数量的初始值，然后基于等待及运行的task的数量进行改变。

当目前的目标数量超过了处理目前工作负载的需求时则减少目标数量。目标executor的数量总是被截断到可同时运行当前所有运行中及等待的task总和的exeuctor数量上。作为对等待调度的积压的task的响应，ExecutorAllocationManager会增加目标executor的数量。移除策略很简单：如果一个executor已经空闲了K秒（表示它没有被调度来运行任何task），则它会被移除。

如果调用队列在N秒内还没有被消耗完，则新的executor会被添加。如果调用队列再有M秒没有被消耗完，则更多的exeuctor会被添加，以此循环往复。每次循环中添加的executor的数量呈指数级增长，直到增长到最大值为止（上界值是同时基于配置值和现在运行中及等待中的task数量决定的）。

指数级增长的系数是两方面的：1）在开始时executor应该缓慢地增长，以免额外需要的executor数量可能是很小的。否则，