In-memory Processing_02

Spark data processing

1.在Spark的运行架构中，Job往往由什么产生？

在Spark的运行架构中，一个Job包含多个Task(被送到executor上的工作单元)组成的并向计算，Job是指包含多个Task组成的并行计算，往往由Action操作产生。

2.在Spark的任务处理中，Master节点充当哪些角色？

master是spark主节点，负责任务和资源调度、节点管理，类似于Yarn ResourceManager，而worker是spark工作节点，可以在上面启动Executor进程，类似于Yarn的NodeManager。可见Execute进程是由worker节点执行的

3.Spark的任务调度有哪四个阶段？

1）RDD Object(创建DAG，即创建RDD的无环图)；
2）DAGScheduler(将图分解为任务的层级，即Stage)；
3）TaskSchedule(通过集群的任务管理来调度任务)；
4）Worker（执行任务）； 可见Stage是在DAGScheduler过程中产生的。