文章目录
Spark入门
1. Spark是什么?
Apache Spark是用于大规模数据处理的统一分析引擎。
简而言之,Spark借鉴了MapReduce思想发展而来,保留了其分布式并行计算的优点并改进了其明显的缺陷。让中间数据存储在内存中提高了运行速度,并提供丰富的操作数据的API提高了开发速度。
Spark VS Hadoop(MapReduce)
Hadoop | Spark | |
---|---|---|
类型 | 基础平台,包含计算、存储、调度 | 纯计算工具(分布式) |
场景 | 海量数据批处理(磁盘迭代计算) | 海量数据的批处理(内存迭代计算、交互式计算)、海量数据流计算 |
价格 | 对机器要求低、便宜 | 对内存有要求,相对较贵 |
编程范式 | Map+Reduce,API较为底层,算法适应性差 | RDD(Resilient Distrobuted Dataset)组成DAG(Directed Acyclic Graph)有向无环图,API较为顶层,方便使用 |
数据存储结构 | MapReduce中间计算结果在HDFS磁盘上,延迟大 | RDD中间运算结果在内存中,延迟小 |
运行方式 | Task以进程方式维护,任务启动慢 | Task以线程方式维护,任务启动快,可批量创建提高并行能力 |
Spark能否完成替代Hadoop?
- 在计算层面,Spark相比较MR有巨大的性能优势,但至今仍有许多计算工具基于MR架构,如Hive。
- Spark仅做计算,而Hadoop生态圈不仅有计算(MR)也有存储(HDFS)和资源调度(YARN),HDFS和YARN仍是许多大数据体系的核心架构。
Hadoop的基于进程的计算和Spark基于线程方式优缺点?
Hadoop中的MR中每个map/reduce task都是一个java进程方式运行,好处在于进程之间是相互独立的,每个task独享进程资源,没有相互干扰,监控方便,但是问题在于task之间不方便共享数据,执行效率比较低。比如多个map task读取不同数据源文件需要将数据源加载到每个map task中,造成重复加载和浪费内存。而基于线程的方式计算是为了数据共享和提高执行效率,Spark采用了线程的最小的执行单位,但缺点是线程之间会有资源竞争。
2. Spark四大特点
(1)速度快
由于Apache Spark支持内存计算,并通过DAG执行引擎支持无环数据流,所以官方宣称其在内存中的运行速度要比Hadoop的MapReduce快100倍,在硬盘中要快10倍。
Spark处理数据与MapReduce处理数据相比,有如下两个不同点:
- Spark处理数据时,可以将中间处理结果数据存储到内存中;
- Spark提供了非常丰富的算子(API),可以做到复杂任务在一个Spark程序中完成。
(2)易于使用
Spark的版本已经更新到3.2.1(截至到2022.6.7),支持包括Java、Scala、Python、R和SQL语言等多种语言。
(3)通用性强
在Spark的基础上,Spark还提供了包括Spark SQL、Spark Streaming、MLlib及GraphX在内的多个工具库。
(4)运行方式
Spark支持多种运行方式,包括在Hadoop和Mesos上,也支持Standalone的独立运行模式,同时也可运行在Kubernetes上。
对于数据源而言,Spark支持从HDFS、HBase、Cassandra及Kafka等多种途径获取数据。
3. Spark框架模块
整个Spark框架模块包含:Spark Core、Spark SQL、Spark Streaming、Spark GraphX、Spark MLlib,后四项的能力都是建立在核心引擎之上。
Spark Core:Spark的核心,Spark核心功能均由Spark Core模块提供,是Spark运行的基础。Spark Core以RDD为数据抽象,提供Python、Java、Scala、R语言的API,可以编程进行海量离线数据批处理计算。
Spark SQL:基于Spark Core之上,提供结构化数据的处理模块。Spark SQL支持以SQL语言对数据进行处理,Spark SQL本身针对离线计算场景。同时基于Spark SQL,Spark提供了Structured Streaming模块,可以以Spark SQL为基础,进行数据的流式计算。
Spark Streaming:以Spark Core为基础,提供数据的流式计算功能。
MLlib:以Spark Core为基础,进行机器学习计算,内置了大量的机器学习库和API算法等。方便用户以分布式计算的模型进行机器学习计算。
GraphX:以Spark Core为基础,进行图计算,提供了大量的图计算API,方便用户以分布式计算模式进行图计算。
4. Spark的运行模式
-
本地模式(单机)
本地模式就是以一个独立的进程通过其内部的多个线程来模拟整个Spark运行时环境。
-
Standalone模式(集群)
Spark中各个角色以独立进程的形式存在,并组成Spark集群环境。
-
Hadoop YARN模型(集群)
Spark中的各个角色运行在YARN的容器内部,并组成Spark集群环境。
-
Kubernetes模式(容器集群)
Spark中的各个角色运行在Kubernetes的容器内部,并组成Spark集群环境。
-
云服务模式(运行在云平台上)
…
5. Spark的架构角色
YARN角色回顾
YARN主要有4类角色,从2个层面去看:
资源管理层面:
- 集群资源管理者(Master):ResourceManager
- 单机资源管理者(Worker) :NodeManager
任务计算层面
- 单任务管理者(Master):ApplicationMaster
- 单任务执行者(Worker):Task(容器内计算框架的工作角色)
Spark运行角色
Spark中由4类角色组成整个Spark的运行时环境
- Master角色,管理整个集群的资源,类比于YARN的ResourceManager
- Worker角色,管理单个服务器的资源,类比于YARN的NodeManager
- Driver角色,管理单个Spark任务在运行时的工作,类比于YARN的ApplicationMaster
- Executor角色,单个任务运行时的一堆工作者,类比于YARN的容器内运行的TASK
从2个层面划分:
资源管理层面:
- 管理者:Spark是Master角色,YARN是ResourceManager
- 工作中:Spark是Worker角色,YARN是NodeManager
从任务执行层面:
- 某任务管理者:Spark是Driver角色,YARN是ApplicationMaster
- 某任务执行者:Spark是Executor角色,YARN是容器中运行的具体工作流程