spark系统架构与节点

spark 采用主从（master/slave）架构构建计算机集群
其中client为提交spark程序的节点。其余为spark分布式集群中的物理节点，可以分为两类，集群管理节点（clustermaster）和从节点（slave）
clustermaster节点:clustermaster是整个集群的核心，它并不执行实际的计算任务，而是负责管理整个集群的计算资源（除clustermaster节点外其他物理主机的内存，cpu处理器等物理资源）这些计算资源都由clustermaster节点进行统一管理，并将资源合理地分配给用户提交的各个应用程序。所有的计算节点都要向clustermaster节点进行注册，将自身的计算资源交给clustermaster节点进行统一调度。clustermaster节点随时监控了解这些注册的节点的运行状况，以便给应用程序提供合理的资源分配。需要注意的是，clustermaster节点是一个逻辑上的概念，当spark采用不同的模式运行时，clustermaster就对应这些模式中相应管理节点。例如,以standalone模式运行时，cluster节点就是运行master服务的节点。以yarn模式运行spark时，clustermaster节点为yarn中的resourcemanager节点，而以mesos运行spark时，对应的clustermaster节点则为mesos中的master节点。
slave节点：根据功能不同分为两类：任务调度节点（driver）和任务执行节点（worker）区分这两种节点的方法就是看slave节点运行着那种功能进程。
driver节点：运行spark程序main函数所在的进程。在spark集群中，driver进程可以运行在提交spar