大数据，之spark入门之一：spark组件

一：spark的组件构成

1：每一个application有自己的executor的进程，它们相互隔离，每个executor中可以有多个task线程。这样可以很好的隔离各个applications,各个spark applications 不能分享数据，除非把数据写到外部系统。

2：SparkContext对象可以视为Spark应用程序的入口，主程序被称为driver program，SparkContext可以与不同种类的集群资源管理器(Cluster Manager），例如Hadoop Yarn、Mesos等 进行通信，从而分配到程序运行所需的资源，获取到集群运行所需的资源后，SparkContext将得到集群中其它工作节点（Worker Node） 上对应的Executors （不同的Spark应用程序有不同的Executor，它们之间也是独立的进程，Executor为应用程序提供分布式计算及数据存储功能），之后SparkContext将应用程序代码分发到各Executors，最后将任务（Task）分配给executors执行。

二：spark相关概念

Application 运行在集群上的用户程序，包含集群上的driver program 和多个executor线程组成；

Driver program application运行的main方法，并生成sparkcontext；

Cluster manager 集群资源管理器 ；

Deploy mode 部署模式 用于区别driver program的运行方式:集群模式(cluter mode)，driver在集群内部启动；客户端模式（client mod