1 Spark 是什么
Apache Spark是用于大规模数据处理的统一分析引擎。
Spark 最早源于一篇论文 Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing, 该论文是由加州大学柏克莱分校的 Matei Zaharia 等人发表的。论文中提出了一种弹性分布式数据集(即 RDD)的概念。
翻译过来就是:RDD 是一种分布式内存抽象,其使得程序员能够在大规模集群中做内存运算,并且有一定的容错方式。而这也
是整个 Spark 的核心数据结构,Spark 整个平台都围绕着RDD进行。
总结:Spark 借鉴了 MapReduce 思想发展而来,保留了其分布式并行计算的优点并改进了其明显的缺陷。让中间数据存储在内存中提 高了运行速度、并提供丰富的操作数据的API提高了开发速度。
2 统一分析引擎
Spark是一款分布式内存计算的统一分析引擎。
其特点就是对任意类型的数据进行自定义计算。
Spark可以计算:结构化、半结构化、非结构化等各种类型的数据结构,同时也支持使用Python、Java、Scala、R以及SQL语言去开发应用 程序计算数据。
Spark的适用面非常广泛,所以,被称之为 统一的(适用面广)的分析引擎(数据处理)
3 spark历史
4 Spark和Hadoop区别
1 Spark和Hadoop有各种的业务场景,Spark并不能完全替代Hadoop
2
在计算层面,Spark相比较MR(MapReduce)有巨大的性能优势,但至今仍有许多计算工具基于MR构架,比如非常成熟的Hive
3 Spark仅做计算,而Hadoop生态圈不仅有计算(MR)也有存储(HDFS)和资源管理调度(YARN),HDFS和YARN仍是许多大数据体系的核心架构。
5 面试题:Hadoop的基于进程的计算和Spark基于线程方式优缺点?
答案:
Hadoop中的MR中每个map/reduce task都是一个java进程方式运行,好处在于进程之间是互相独立的,每个task独享进程资源,没 有互相干扰,监控方便,但是问题在于task之间不方便共享数据,执行效率比较低。比如多个map task读取不同数据源文件需要将数据源加 载到每个map task中,造成重复加载和浪费内存。而基于线程的方式计算是为了数据共享和提高执行效率,Spark采用了线程的最小的执行 单位,但缺点是线程之间会有资源竞争。
【扩展阅读】:线程基本概念
1
线程是
CPU
的基本调度单位
2
一个进程一般包含多个线程
,
一个进程下的多个线程共享进程的资源
3
不同进程之间的线程相互不可见
4
线程不能独立执行
5
一个线程可以创建和撤销另外一个线程
6 Spark四大特点
速度快
由于Apache Spark支持内存计算,并且通过DAG(有向无环图)执行引擎支持无环数据流,所以官方宣称其在内存中的运算速度要比 Hadoop的MapReduce快100倍,在硬盘中要快10倍。
Spark
处理数据与
MapReduce
处理数据相比,有如下两个不同点:
1
其一、
Spark
处理数据时,可以将中间处理结果数据存储到内存中;
2
其二、
Spark
提供了非常丰富的算子
(API),
可以做到复杂任务在一个
Spark
程序中完成
.
易于使用
Spark 支持了包括 Java、Scala、Python 、R和SQL语言在内的多种语言。为了兼容Spark2.x企业级应用场景,Spark仍然持续更新Spark2版本。
通用性强
在 Spark 的基础上,Spark 还提供了包括Spark SQL、Spark Streaming、MLib 及GraphX在内的多个工具库,我们可以在一个应用中无缝
地使用这些工具库。
运行方式
Spark 支持多种运行方式,包括在 Hadoop 和 Mesos 上,也支持 Standalone的独立运行模式,同时也可以运行在云Kubernetes(Spark
2.3开始支持)上。
对于数据源而言,Spark 支持从HDFS、HBase、Cassandra 及 Kafka 等多种途径获取数据
7 spark 框架
整个Spark
框架模块包含:
Spark Core
、
Spark SQL
、
Spark Streaming
、
Spark GraphX
、
Spark MLlib
,而后四项的能力都是建立在核心引擎之上
Spark Core:
Spark
的核心,
Spark
核心功能均由
Spark Core
模块提供,是
Spark
运行的基础
Spark Core
以
RDD
为数据抽象,提供
Python
、
Java
、 Scala、
R
语言的
API
,可以编程进行海量离线数据批处理计算。
SparkSQL:基于
SparkCore
之上,提供结构化数据的处理模块。
SparkSQL
支持以
SQL
语言对数据进行处理,
SparkSQL
本身针对离线计算场景。同 时基于SparkSQL
,
Spark
提供了
StructuredStreaming
模块,可以以
SparkSQL
为基础,进行数据的流式计算。
SparkStreaming:以
SparkCore
为基础,提供数据的流式计算功能。
MLlib:以
SparkCore
为基础,进行机器学习计算,内置了大量的机器学习库和
API
算法等。方便用户以分布式计算的模式进行机器学习计算。
GraphX:以
SparkCore
为基础,进行图计算,提供了大量的图计算
API
,方便用于以分布式计算模式进行图计算。
8 Spark的运行模式 - 了解
Spark提供多种运行模式,包括:
1
本地模式(单机)
本地模式就是以一个
独立的进程
,通过其内部的
多个线程来模拟
整个Spark运行时环境
2
Standalone模式(集群)
Spark中的各个角色以
独立进程
的形式存在,并组成Spark集群环境
3
Hadoop YARN模式(集群)
Spark中的各个角色
运行在YARN的容器内部
,并组成Spark集群环境
4 Kubernetes模式(容器集群)
Spark中的各个角色
运行在Kubernetes的容器内部
,并组成Spark集群环境