spark--运行流程

就像在一家公司里面总有明确的分工，每一哥部分负责自己的那一部分的任务，大家一起来维持公司的正常运转，同样的，spark就像是一个公司，他的里面也有许许多多的角色组成

Spark术语解释：

Master：资源管理的主节点，通过管理各个worker来管理集群中的资源

Worker，master的从节点，与master一起管理集群的资源

Application：用户所写的应用程序，就像spark中的HelloWorld的wordcount一样，他就是一个application

Driver：任务调度的进程，application先交给的就是Driver，因为一个应用程序中有多个task组成，而task是被送到某个Executor上进行执行的工作单元，所以Driver在得到application之后，会将application的task进行规划，然后分发到executor上进行执行

Executor：worker进程所管理的节点上为某application启动的一个进程，该进程负责运行任务，说白了就是公司里面的工厂，负责处理Driver发送过来的原材料task，

Job:包含了很多组并行的task，与action算子一一对应，，就像是大货车在运送材料的时候将货物进行打包一起运送一样