Spark学习_01_概述

Spark

一、spark概述

1. spark

​ · spark是一种由Scala语言开发的快速、通用、可拓展的大数据分析引擎

​ · spark core中提供了spark最基础与最核心的功能

​ · spark SQL是spark用来操作结构化数据的组件。通过spark SQL，用户可以使用SQL或者apache Hive版本的HQL来查询数据

​ · spark streaming是spark平台上针对实时数据进行流式计算的组件，提供了丰富的处理数据流的API

总结：spark出现的时间较晚，且主要是用于数据计算。

2. spark && Hadoop

Hadoop设计的初衷：一次性数据计算

框架在处理数据的时候，会从存储设备中读取数据，进行逻辑操作，然后将处理的结果重新存储到介质中

​ · Hadoop的MapReduce计算框架设计初衷并不是为了满足循环迭代式数据流处理，因此在许多并行运行的可复用场景下（如机器学习、图挖掘算法、交互式数据挖掘算法）存在诸多计算效率问题。而spark就是在传统的MapReduce框架基础上，利用其计算过程的优化，大大加快了数据分析、挖掘的运行和IO速度，并将计算单元缩小到更适合并行计算和重复使用的RDD计算模型。

​ · 在机器学习中的ALS、凸优化梯度下降等，都需要基于数据集或者数据集的衍生数据反复查询和操作。MapReduce不适合于这种情况，即使是多MapReduce串行处理，性能和时间依旧表现不好。数据的共享依赖于磁盘。另外一种是交互式数据挖掘，MapReduce也不擅长，而spark基于的Scala语言正好擅长函数处理。

spark较于Hadoop的特点

​ · spark是一个分布式数据快速分析项目。它的核心技术是弹性分布式数据集RDD（Resilient Distributed Datasets），它提供了比MapReduce更丰富的模型，可以快速在内存中对数据集进行多次迭代，以支持复杂的数据挖掘算法和图形计算算法。

​ · spark和Hadoop的根本差异是多个作业之间的数据通信问题：spark多个作业之间数据通信是基于内存的，而Hadoop是基于磁盘的。

​ · spark task的启动速度很快，因为spark采用的是fork线程的方式，而Hadoop则是采用创建新进程的方式。

​ · spark只有在shuffle的时候将数据写入磁盘，而Hadoop中的多个MapReduce作业之间的数据交互都要依赖磁盘IO

​ · spark的缓存机制比HDFS的缓存机制更高效

3. spark可以取代MapReduce吗？

先说结论，当然是不行的

通过上面的一部分比较，可以看出，虽然绝大多数的数据计算场景中，spark会比MapReduce更有优势。但是spark是基于内存的，在实际生产环境中，由于内存的限制，可能会出现内存资源不够导致作业执行失败，此时，MapReduce显然是一个更好的选择，从这一方面讲，spark是不能完全替代MapReduce的。

4. spark核心模块

spark core

spark core中提供了spark最基础与最核心的功能，spark其他的功能都是在此基础上进行扩展的

spark SQL

spark SQL是spark用来操作结构化数据的组件。通过Spark SQL，用户可以使用SQL或者HQL来查询数据

Spark Streaming

Spark Streaming是Spark平台上针对实时数据进行流式计算的组件，提供了丰富的处理数据流的API

Spark MLlib

MLlib是Spark提供的一个机器学习算法库，它不仅提供了模型评估、数据导入等额外功能，还提供了一些更底层的机器学习原语

Spark GraphX

GraphX是Spark面向图计算提供的框架与算法库