Spark学习笔记

主要记录学习spark过程中一些知识点

Spark应用程序

spark应用程序由：一个驱动器进程（Driver）和一组执行器进程（Executor）进程组成。

驱动器：

运行main()函数，位于集群中的一个节点上，它负责三件事：

1. 维护spark应用程序的相关信息；
2. 回应用户的程序或输入；
3. 分析任务并分发给若干执行器进行处理。
   驱动器是必须的，他是spark应用程序的核心，它在应用程序执行的整个生命周期中维护着所有相关信息。

执行器：

负责执行驱动器分配给他的实际计算工作，这意味着每个执行器只负责两件事