Spark入门

最新推荐文章于 2023-07-05 11:12:32 发布

lavineeeen

最新推荐文章于 2023-07-05 11:12:32 发布

阅读量173

点赞数

分类专栏： Spark 文章标签： spark 大数据

本文链接：https://blog.csdn.net/weixin_44936816/article/details/125166574

版权

Spark 专栏收录该内容

3 篇文章 0 订阅

订阅专栏

文章目录

Spark入门

Spark入门

1. Spark是什么？

Apache Spark是用于大规模数据处理的统一分析引擎。
在这里插入图片描述

简而言之，Spark借鉴了MapReduce思想发展而来，保留了其分布式并行计算的优点并改进了其明显的缺陷。让中间数据存储在内存中提高了运行速度，并提供丰富的操作数据的API提高了开发速度。

Spark VS Hadoop(MapReduce)

	Hadoop	Spark
类型	基础平台，包含计算、存储、调度	纯计算工具（分布式）
场景	海量数据批处理（磁盘迭代计算）	海量数据的批处理（内存迭代计算、交互式计算）、海量数据流计算
价格	对机器要求低、便宜	对内存有要求，相对较贵
编程范式	Map+Reduce，API较为底层，算法适应性差	RDD(Resilient Distrobuted Dataset)组成DAG(Directed Acyclic Graph)有向无环图，API较为顶层，方便使用
数据存储结构	MapReduce中间计算结果在HDFS磁盘上，延迟大	RDD中间运算结果在内存中，延迟小
运行方式	Task以进程方式维护，任务启动慢	Task以线程方式维护，任务启动快，可批量创建提高并行能力

Spark能否完成替代Hadoop?

在计算层面，Spark相比较MR有巨大的性能优势，但至今仍有许多计算工具基于MR架构，如Hive。
Spark仅做计算，而Hadoop生态圈不仅有计算(MR)也有存储(HDFS)和资源调度(YARN)，HDFS和YARN仍是许多大数据体系的核心架构。

Hadoop的基于进程的计算和Spark基于线程方式优缺点？

Hadoop中的MR中每个map/reduce task都是一个java进程方式运行，好处在于进程之间是相互独立的，每个task独享进程资源，没有相互干扰，监控方便，但是问题在于task之间不方便共享数据，执行效率比较低。比如多个map task读取不同数据源文件需要将数据源加载到每个map task中，造成重复加载和浪费内存。而基于线程的方式计算是为了数据共享和提高执行效率，Spark采用了线程的最小的执行单位，但缺点是线程之间会有资源竞争。

2. Spark四大特点

（1）速度快

由于Apache Spark支持内存计算，并通过DAG执行引擎支持无环数据流，所以官方宣称其在内存中的运行速度要比Hadoop的MapReduce快100倍，在硬盘中要快10倍。
在这里插入图片描述

Spark处理数据与MapReduce处理数据相比，有如下两个不同点：

Spark处理数据时，可以将中间处理结果数据存储到内存中；
Spark提供了非常丰富的算子(API)，可以做到复杂任务在一个Spark程序中完成。

（2）易于使用

Spark的版本已经更新到3.2.1（截至到2022.6.7），支持包括Java、Scala、Python、R和SQL语言等多种语言。

（3）通用性强

在Spark的基础上，Spark还提供了包括Spark SQL、Spark Streaming、MLlib及GraphX在内的多个工具库。
在这里插入图片描述

（4）运行方式

Spark支持多种运行方式，包括在Hadoop和Mesos上，也支持Standalone的独立运行模式，同时也可运行在Kubernetes上。
在这里插入图片描述

对于数据源而言，Spark支持从HDFS、HBase、Cassandra及Kafka等多种途径获取数据。

3. Spark框架模块

整个Spark框架模块包含：Spark Core、Spark SQL、Spark Streaming、Spark GraphX、Spark MLlib，后四项的能力都是建立在核心引擎之上。
在这里插入图片描述

Spark Core：Spark的核心，Spark核心功能均由Spark Core模块提供，是Spark运行的基础。Spark Core以RDD为数据抽象，提供Python、Java、Scala、R语言的API，可以编程进行海量离线数据批处理计算。

Spark SQL：基于Spark Core之上，提供结构化数据的处理模块。Spark SQL支持以SQL语言对数据进行处理，Spark SQL本身针对离线计算场景。同时基于Spark SQL，Spark提供了Structured Streaming模块，可以以Spark SQL为基础，进行数据的流式计算。

Spark Streaming：以Spark Core为基础，提供数据的流式计算功能。

MLlib：以Spark Core为基础，进行机器学习计算，内置了大量的机器学习库和API算法等。方便用户以分布式计算的模型进行机器学习计算。

GraphX：以Spark Core为基础，进行图计算，提供了大量的图计算API，方便用户以分布式计算模式进行图计算。