2021-02-28

Spark简介

Spark最初是由美国加州大学伯克利分校的AMP实验室在2009年开发，基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序
Spark主要特点：
1、运行速度快
2、容易使用
3、通用性
4、运行模式多样
Spark架构图：

Spark生态：

Spark生态系统：
Spark的设计遵循“一个软件栈满足不同应用场景”的理念，逐渐形成了一套完整的生态系统
既能够提供内存计算框架，也可以支持SQL即席查询、实时流式计算、机器学习和图计算等
Spark可以部署在资源管理器YARN上，提供一站式的大数据解决方案
因此，Spark所提供的生态系统足以应对上述三种场景，即同时支持批处理、交互式查询和流数据处理
Spark运行架构：
RDD：是分布式内存的一个抽象概念，提供了一种高度受限的共享内存模式
DAG：反应RDD之间的依赖关系
Executor：试运行在工作节点的一个进程，负责运行Task
应用（Application）：用户编写的Spark应用程序
任务（Task）：运行在Executor上的工作单位
作业（Job）：一个作业包含多个RDD及作用于相应RDD上的各种操作
阶段（Stage）：是作业的基本调度单位，一个作业会分成多组任务，每组任务被称为阶段，或者也被称为任务集合，代表了一组关联的、相互之间没有Shuffle依赖关系的任务组成的任务集