IBM专家亲自解读 Spark2.0 操作指南

Spark 背景介绍

1、什么是Spark

在Apache的网站上，有非常简单的一句话，”Spark is a fast and general engine ”,就是Spark是一个统一的计算引擎，而且突出了fast。那么具体是做什么的呢？是做large-scale的processing，即大数据的处理。

“Spark is a fast and general engine for large-scale processing”这句话非常简单，但是它突出了Spark的一些特点:第一个特点就是spark是一个并行式的、内存的计算密集型的计算引擎。

那么来说内存的，因为Spark是基于Map Reduce的，但是它的空间数据不是存在于HDFS上面，而是存在于内存中，所以他是一个内存式的计算，这样就导致Spark的计算速度非常得快，同时它可以部署在集群上，所以它可以分布到各个的节点上，并行式地计算；Spark上还有很多机器学习和数据挖掘的学习包，用户可以利用学习包进行数据的迭代式计算，所以它又是一个计算密集型的计算工具。

2、Spark的发展历程

了解完什么是Spark之后，我们看一下Spark的发展历程。

Spark 2009年作为研究项目创建，13年成为Apache的孵化项目，14年成为Apache的顶级项目，Spark2.0还没有正式发布，目前只有比较draft的版本。

3、Spark2.0的最新特性

Spark2.0是刚出的，今天主要讲解它的两个部分，一个是它的new feature，就是它有哪些新的特性；另一部分是community，大家知道Spark是一个开源社区，社区对Spark的发展功不可没。

在feature这一部分，可以看到，Spark2.0中有比较重要的两个部分，其中一个就是Structured API。

Spark2.0统一了DataFrame和Dataset，并且引入了新的SparkSession。SparkSession提供了一个新的切入点，这个切入点统一了sql和sql context，对用户来说是透明的，用户不需要再去区分用什么context或者怎么创建，直接用SparkSession就可以了。还有一个是结构化的流，streaming。在Spark2.0中，流和bash做了一个统一，这样的话对用户来说也是透明的