SparkContext负责与ClusterManager通信,进行资源的申请 任务的分配和监控
Worker:集群中任何可以运行appliction代码的节点,类似于yarn中的nodemanager。
共享变量:在spark application 运行时,可能需要共享一些变量,提供给task或者driver使用。1可以缓存到各个节点的广播变量 2 只支持加法操作的可以实现求和的累加变量。
上面为spark的相关术语
通过下面的spark作业调度系统了解spark相关术语之间的关系
spark的容错性能依靠lineagelai完成