Spark一些基础原理——资源调度

自学知识：RDD的生命周期，DAG任务调度

lv0

在Spark中，资源调度是Master负责管理的，Worker通过注册的形式在Master注册相关资源。而在执行过程中，是通过sc即Driver向Master申请计算资源（Master根据集群设置启动不同的Driver，对于Standalone而言Driver是在提交任务的本地环境，而对于Cluster而言是由Master分配到某一个Worker执行，Driver在Master注册后会向Master申请计算资源），Master分配计算任务资源Executor注册给Driver，并由Driver分配到各个Worker执行tasks，tasks会获取datablock创建RDD而后根据DAG分配Stage进行计算，最终汇总results得到结果。
而在Master分配Exector时，一般为先过滤Alive状态Exector放入HashMap中，根据指定的策略（均衡调用还是依次占用）对资源进行分配，分配时也是打乱分配的。Exector注册给Driver后，Driver向每个Tasks对应的Exector发送LaunchTask以执行Task任务。Exector默认的堆空间大小为512M，默认只允许使用90%的Safe空间，而在Safe空间中默认为20%用于shuffle，60%用于storage，而storage中20%用于序列化。一般情况下需要综合考虑storage和shuffle对内存的空间的消耗。
此外，Spark在数据源调用上，优先调用本地资源和依赖jar包。如若可以尽可能在本地构建数据缓存。读写数据可以基于磁盘、内存以及OffHeap（即堆外内存），通过BlockManager进行管理。