Spark

一、概念

什么是Spark？

Spark是一个快速、通用、可扩展的大数据分析引擎。

（ 详见官网：http://spark.apache.org/）

简介

1）于2009年诞生于加州大学，采用Scala语言编写。
2） 2010年开源。
3） 2013年6月成为Apache孵化项目。
4） 2014年2月成为Apache顶级项目。

特点 :

四个特性是什么？

1. 高效性：基于内存的运算，相当于Hadoop的mapreduce的100倍，计算中的结果存在内存中，Spark实现了高效的DAG执行引擎。
2. 易用性：Spark支持Java、Python、以及Scala的API，支持80种高级算法。
3. 通用性: Spark提供了统一的解决方案。Spark可以用于批处理、交互式查询(Spark SQL)、实时流处理(Spark Streaming) 、机器学习(Spark MLlib)和图计算(Graphx) 。这些不同类型的处理都可以在同一个应用中无缝使用。减少了开发和维护的人力成本和部署平台的物力成本。
4. 兼容性: Spark可以非常方便地与其他的开源产品进行融合。比如, Spark可以使用Hadoop的YARN和Apache Mesos作为它的资源管理和调度器,并且可以处理所有Hadoop支持的数据,包括HDFS、 HBase等。这对于已经部署Hadoop集群的用户特别重要,因为不需要做任何数据迁移就可以使用Spark的强大处理能力。

内置单元

各个模块代表着什么？

Spark Core：

实现了Spark的基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互等模块。Spark Core中还包含了对弹性分布式数据集(Resilient Distributed DataSet，简称RDD)的API定义。

Spark SQL：

是Spark用来操作结构化数据的程序包。通过Spark SQL，我们可以使用 SQL或者Apache Hive版本的SQL方言(HQL)来查询数据。Spark SQL支持多种数据源，比如Hive表、Parquet以及JSON等。

Spark Streaming：

是Spark提供的对实时数据进行流式计算的组件。提供了用来操作数据流的API，并且与Spark Core中的 RDD API高度对应。

Spark MLlib：

提供常见的机器学习(ML)功能的程序库。包括分类、回归、聚类、协同过滤等，还提供了模型评估、数据 导入等额外的支持功能。

集群管理器：

Spark 设计为可以高效地在一个计算节点到数千个计算节点之间伸缩计 算。为了实现这样的要求，同时获得最大灵活性，Spark支持在各种集群管理器(Cluster Manager)上运行，包括Hadoop YARN、Apache Mesos，以及Spark自带的一个简易调度 器，叫作独立调度器。

重要角色

Driver和Executor

Driver（驱动器）

Spark的驱动器是执行开发程序中的main方法的进程。它负责开发人员编写的用来创建SparkContext、创建RDD，以及进行RDD的转化操作和行动操作代码的执行。如果你是用spark shell，那么当你启动Spark shell的时候，系统后台自启了一个Spark驱动器程序，就是在Spark shell中预加载的一个叫作 sc的SparkContext对象。如果驱动器程序终止，那么Spark应用也就结束了。主要负责：

1. 把用户程序转为作业（JOB）
2. 跟踪Executor的运行状况
3. 为执行器节点调度任务
4. UI展示应用运行状况

Executor（执行器）

Spark Executor是一个工作进程，负责在 Spark 作业中运行任务，任务间相互独立。Spark 应用启动时，Executor节点被同时启动，并且始终伴随着整个 Spark 应用的生命周期而存在。如果有Executor节点发生了故障或崩溃，Spark 应用也可以继续执行，会将出错节点上的任务调度到其他Executor节点上继续运行。主要负责：

1. 负责运行组成 Spark 应用的任务，并将结果返回给驱动器进程；
2. 通过自身的块管理器（Block Manager）为用户程序中要求缓存的RDD提供内存式存储。RDD是直接缓存在Executor进程内的，因此任务可以在运行时充分利用缓存数据加速运算。

---

二、运行模式

四种运行模式的区别

Local模式

Local模式就是运行在一台计算机上的模式,通常就是用于在本机上练手和测试。它可以通过以下集中方式设置Master;

1. local:所有计算都运行在一个线程当中,没有任何并行计算,通常我们在本机执行一些测试代码,或者练手,就用这种模式;
2. local(K):指定使用几个线程来运行计算,比如local[4]就是运行4个worker线程。通常我们的Cpu有几个Core,就指定几个线程,最大化利用Cpu的计算能力;
3. local[*]:这种模式直接帮你按照Cpu最多Cores来设置线程数了。

Standalone模式

构建一个由Master+Slave构成的Spark集群，Spark运行在集群中。

Yarn模式

Spark客户端直接连接Yarn，不需要额外构建Spark集群。有yarn-client和yarn-cluster两种模式，主要区别在于：Driver程序的运行节点。

1. yarn-client：Driver程序运行在客户端，适用于交互、调试，希望立即看到app的输出。
2. yarn-cluster：Driver程序运行在由RM（ResourceManager）启动的AP（APPMaster）适用于生产环境。

Mesos模式

Spark客户端直接连接Mesos；不需要额外构建Spark集群。国内应用比较少，更多的是运用yarn调度。

运行模式对比：

模式	安装机器数量	需要启动的进程	所属者
Local	1	无	Spark
Standalone	3	Master和Worker	Spark
Yarn	1	HDFS和Yarn	Hadoop