Spark笔记一之简介,启动,与Hadoop对比,运行模式

简介

Spark由Berkeley大学研发是apache下的一个大数据处理框架是一个顶级项目。

1.      他号称在内存中比MapReduce快100倍，disk中快10倍

2.      易用性强上手快，支持java,scala,python,R语言

3.      应用广，可包含大数据查询，流式计算，机器学习，图计算

4.      可以在各个平台下运行

spark应用场景

大批量数据实时查询，离线数据批处理，流式计算

官网：http://spark.apache.org/

与hadoop对比

在hadoop中map任务的输出是一个<k,v>键值对，而reduce任务的输入就是读取map任务输出的这个键值对，Hadoop框架会将多个map任务的输出按照不同的分区拷贝到不同的reduce节点上，这个过程叫做shuffle。Spark也存在map和reduce任务和hadoop一样.

Shuffle对比

以下是hadoop中shuffle的过程示意图

1.MAP任务处理完毕之后先将数据存入内存。

2.紧接着对内存中的数据执行分区排序操作并存入磁盘，此时磁盘中就存在很多的小片用于存储。(写1)

3.读取磁盘上小分片中的数据然后merge写入一个大文件，这个大文件中包含很多分区。(读1+写2)

4.此时磁盘上会有很多的大文件，每个文件上的分区数据会输出给不同节点上的reduce任务(读2)，这步操作应该还会产生IO消耗。

5.Reduce任务所在节点读取完毕后再对其进行merge操作形成一个大文件写入磁盘(写3)。

6最后reduce任务读取(读3)这个大文件作为自己的入参来进行计算。

以上就是hadoop中shuffle的简单过程，统计一下读写磁盘共有6次。Spark也有shuffle过程但是全部是基于内存的所以比hadoop快。

 

数据共享对比

Hadoop

1.Hdfs将数据存储在不同的节点上而且每个节点都会备份,一份数据可能会存储在3个不同的节点上这样还涉及到数据同步问题。

2.机器学习中结果也需要写入hdfs上这样也涉及同步问题。

3.在高并发查询时，每查询一次都要去hdfs上读取数据。

Spark

由于spark的数据是基于内存的所以速度快且不涉及数据备份，在高并发查询时只第一次从hdfs中读取后面的则可以从内存中读取。

 

Hadoop设计上不占用大量内存，spark则需要占用大量内存。

 

运行模式

Local：本地模式