Spark入门系列(1)-Spark简介

概述

官网
Spark 是加州大学伯克利分校 AMP（Algorithms，Machines，People）实验室开发的通用内存并行计算框架。

Spark 在 2013 年 6 月进入 Apache 成为孵化项目，8 个月后成为 Apache 顶级项目。

Spark 以其先进的设计理念，迅速成为社区的热门项目，围绕着 Spark 推出了 SparkSQL、SparkStreaming、MLlib 和 GraphX 等组件，逐渐形成大数据处理一站式解决平台。

Spark and Hadoop

发展历史

Hadoop

• 2006 年 1 月，Doug Cutting 加入 Yahoo，领导 Hadoop 的开发
• 2008 年 1 月，Hadoop 成为 Apache 顶级项目
• 2011 年 1.0 正式发布
• 2012 年 3 月稳定版发布
• 2013 年 10 月发布 2.X (Yarn)版本

Spark

• 2009 年，Spark 诞生于伯克利大学的 AMPLab 实验室
• 2010 年，伯克利大学正式开源了 Spark 项目
• 2013 年 6 月，Spark 成为了 Apache 基金会下的项目
• 2014 年 2 月，Spark 以飞快的速度成为了 Apache 的顶级项目
• 2015 年至今，Spark 变得愈发火爆，大量的国内公司开始重点部署或者使用 Spark

功能对比

Hadoop

• Hadoop 是由 java 语言编写的，在分布式服务器集群上存储海量数据并运行分布式
  分析应用的开源框架
• 作为 Hadoop 分布式文件系统，HDFS 处于 Hadoop 生态圈的最下层，存储着所有
  的 数 据 ， 支 持 着 Hadoop 的 所 有 服 务 。 它 的 理 论 基 础 源 于 Google 的
  TheGoogleFileSystem 这篇论文，它是 GFS 的开源实现。
• MapReduce 是一种编程模型，Hadoop 根据 Google 的 MapReduce 论文将其实现，
  作为 Hadoop 的分布式计算模型，是 Hadoop 的核心。基于这个框架，分布式并行
  程序的编写变得异常简单。综合了 HDFS 的分布式存储和 MapReduce 的分布式计
  算，Hadoop 在处理海量数据时，性能横向扩展变得非常容易。
• HBase 是对 Google 的 Bigtable 的开源实现，但又和 Bigtable 存在许多不同之处。
  HBase 是一个基于 HDFS 的分布式数据库，擅长实时地随机读/写超大规模数据集。
  它也是 Hadoop 非常重要的组件。

Spark

• Spark 是一种由 Scala 语言开发的快速、通用、可扩展的大数据分析引擎
• Spark Core 中提供了 Spark 最基础与最核心的功能
• Spark SQL 是 Spark 用来操作结构化数据的组件。通过 Spark SQL，用户可以使用
  SQL 或者 Apache Hive 版本的 SQL 方言（HQL）来查询数据。
• Spark Streaming 是 Spark 平台上针对实时数据进行流式计算的组件，提供了丰富的
  处理数据流的 API。

综合分析

Hadoop 已经成了大数据技术的事实标准，Hadoop MapReduce 也非常适合于对大规模数据集合进行批处理操作，但是其本身还存在一些缺陷。特别是MapReduce 存在的延迟过高，无法胜任实时、快速计算需求的问题，使得需要进行多路计算和迭代算法的用例的作业过程并非十分高效。

与 Hadoop 相比，Spark 有较大优势，但是并不能够取代 Hadoop。

Spark 是基于内存进行数据处理的，所以不适合于数据量特别大、对实时性要求不高的场合。另外，Hadoop 可以使用廉价的通用服务器来搭建集群，而 Spark 对硬件要求比较高，特别是对内存和 CPU 有更高的要求。

Spark生态圈

Spark Core

Spark Core 中提供了 Spark 最基础与最核心的功能，Spark 其他的功能如：Spark SQL，Spark Streaming，GraphX, MLlib 都是在 Spark Core 的基础上进行扩展的。

Spark Streaming

Spark Streaming 是一个对实时数据流进行高通量、容错处理的流式处理系统，可以对多种数据源（如 Kafka、Flume、Twitter、Zero 和 TCP 套接字）进行类似 map、reduce 和 join 的复杂操作，并将结果保存到外部文件系统、数据库中，或应用到实时仪表盘上。

Spark Streaming 的核心思想是将流式计算分解成一系列短小的批处理作业，这里的批处理引擎是 Spark Core。也就是把 Spark Streaming 的输入数据按照设定的时间片（如 1 秒）分成一段一段的数据，每一段数据都转换成 Spark 中的 RDD，然后将 Spark Streaming 中对 DStream 的转换操作变为对 Spark 中的 RDD 的转换操作，将 RDD 经过操作变成的中间结果保存在内存中。

根据业务的需求，整个流式计算可以对中间结果进行叠加，或者将中间结果存储到外部设备。

Spark SQL

Spark SQL 是 Spark 用来操作结构化数据的组件。通过 Spark SQL，用户可以使用 SQL或者 Apache Hive 版本的 SQL 方言（HQL）来查询数据。

Spark MLlib

Spark MLlib 实现了一些常见的机器学习算法和实用程序，包括分类、回归、聚类、协同过滤、降维及底层优化，并且该算法可以进行扩充。Spark MLlib 降低了机器学习的门槛，开发人员只要具备一定的理论知识就能进行机器学习的工作。

Spark GraphX

Spark GraphX 是 Spark 中用于图并行计算的 API，可以认为是 GraphLab 和 Pregel 在 Spark 上的重写及优化。与其他分布式图计算框架相比，Spark GraphX 最大的贡献是在 Spark 之上提供了一站式数据解决方案，可以方便且高效地完成图计算的一整套流水作业。

Spark GraphX 的核心抽象是 Resilient Distributed Property Graph，即一种点和边都带属性的有向多重图。它扩展了 Spark RDD 的抽象，有 Table 和 Graph 两种视图，而只需要一份物理存储。两种视图都有自己独有的操作符，从而使得操作灵活，并提高了执行效率。