Spark-day1

一、定义

Spark是一种基于内存的快速、通用、可扩展的大数据分析引擎。2009年诞生于加州大学伯克利分校AMPLab，项目采用Scala编写；2010年开源；2013年6月成为Apache的孵化项目；2014年2月成为Apache的顶级项目。

二、内置模块

Spark的内置模块如下：

Spark Core：实现了Spark的基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互等模块。Spark Core还包含了对弹性分布式数据集（Resilient Distributed DataSet，简称RDD）的API定义。 

Spark SQL：是Spark用来操作结构化数据的程序包。通过Spark SQL我们可以使用SQL或者Hive SQL（HQL）来查询数据。Spark SQL支持多种数据源，比如Hive表，parquet，JSON等。

Spark Streaming：是Spark提供对实时数据进行流式计算的组件。提供了用来操作数据流的API，并且与Spark Core中的RDD API高度对应。

Spark MLlib：提供常见的机器学习(ML)功能的程序库。

三、Spark的特点

1、快：与Hadoop的MapReduce相比，Spark基于内存的运算要快100倍以上，基于硬盘的运算也要快10倍以上。Spark实现了高效的DAG执行引擎，可以通过基于内存来高效处理数据流。计算的中间结果是存在于内存中的。

DAG执行引擎（Directed Acyclic Graph execution engine）：是一种在大规模数据处理过程中常用的执行模型，它将计算任务分解成有向无环图（DAG）中的一系列节点以及它们之间的依赖关系。DAG执行引擎会根据这些节点之间的依赖关系自动构建一个执行计划，并将各个节点的计算任务以适当的顺序在分布式计算资源上执行，以实现高效、可扩展的数据处理。

2、易用：Spark支持Java、Python和Scala的API，还支持超过80种高级算法，使用户可以快速构建不同的应用。而且Spark支持交互式的Python和Scala的Shell，可以非常方便地在这些Shell中使用Spark集群来验证解决问题的方法。

3、通用：Spark提供了统一的解决方案。Spark可以用于批处理、交互式查询（Spark SQL）、实时流处理（Spark Streaming）、机器学习（Spark MLlib）和图计算（GraphX）。这些不同类型的处理都可以在同一个应用中无缝使用。减少了开发和维护的人力成本和部署平台的物力成本。

4、兼容性：Spark可以非常方便地与其他的开源产品进行融合。比如，Spark可以使用Hadoop的YARN和Apache Mesos作为它的资源管理和调度器，并且可以处理所有Hadoop支持的数据，包括HDFS、HBase等。这对于已经部署Hadoop集群的用户特别重要，因为不需要做任何数据迁移就可以使用Spark的强大处理能力。