Spark主要包括 调度与任务分配、I/O模块、通信控制模块、容错模块 、 Shuffle模块。
Spark 按照 ①应用 application ②作业 job ③ stage ④ task 四个层次进行调度,采用经典的FIFO和FAIR等调度算法。
Spark主要包括 调度与任务分配、I/O模块、通信控制模块、容错模块 、 Shuffle模块。
Spark 按照 ①应用 application ②作业 job ③ stage ④ task 四个层次进行调度,采用经典的FIFO和FAIR等调度算法。