一篇文章了解spark

目录

0、spark缘起

1、spark的运行框架

2、一些基本的概念

3、sql转为RDD的过程

4、shuffle

5、优化技巧

---

0、spark缘起

Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一

1、spark的运行框架

 

其中：

driver：一个进程，将用户程序转化为作业（job），在Executor之间调度任务(task)，并跟踪执行情况并UI展示，在yarn模式下就是Application Master，一般是在worker上启动

excuter：一个JVM进程，负责在 Spark 作业中运行具体任务（Task-线程）

对应物理节点是：worker和master（yarn里面是RM 和 NM，spark一般来说都是cluster on yarn ）

master：管理 Worker、Application（接收 Worker 的注册并管理所有的 Worker；接收 Client 提交的 Application，调度等待的Application 并向Worker提交）。

worker：具体的任务执行节点，对应yarn里面的NodeManager

client：客户端

yarn相关：

resourcemanager（RM）：处理客户端请求，资源管理调度

nodemanager（NM）：管理node资源，运行程序

container：抽象资源容器，封装着一定的cpu、io和网络等资源，基本的资源单位，一般是一定比例的CPU虚拟核数vcore和内存（具体比例和物理机器和集群的配置相关），申请资源时需要注意这块，否则会造成资源浪费

ApplicationMaster（AM）：一个进程，负责整体应用程序的资源申请和任务分配，并监控任务状态，与RM和NM通信频繁

详细运行过程：

 

 

2、一些基本的概念

 

job：遇到action会生成job，spark的惰性机制导致