Spark 有以下几种任务调度策略配置:
公平调度 (Fair Scheduling): 根据每个应用程序的任务数量来均衡分配资源,保证所有应用程序都有相同的 CPU 时间片。
轮询调度 (Round Robin Scheduling): 在每个应用程序之间循环分配任务,保证每个应用程序都有相等的机会获得资源。
随机调度 (Random Scheduling): 随机分配任务给每个应用程序,不保证任何应用程序会得到公平的资源分配。
基于容限 (Capacity Scheduling): 为每个应用程序分配一定的容量,并在每个应用程序内部使用公平调度策略进行任务