Spark

一、Spark 框架概述

1.1 spark是什么

Apache Spark 是用于 大规模数据 （ large-scala data ）处理的 统一（ unified ）分析引擎 。

Spark 借鉴了 MapReduce 思想发展而来，保留了其 分布式并行计算的优点 并改进了其明显的缺陷。让中间数据存储在内存中提高了运行速度、并提供丰富的操作数据的API提高了开发速度。

Spark的适用面非常广泛，所以，被称之为 统一的（适用面广）的分析引擎（数据处理）

1.2 spark VS Hadoop

尽管Spark相对于Hadoop而言具有较大优势，但Spark并不能完全替代Hadoop

1.  在计算层面，Spark相比较MR（MapReduce）有巨大的性能优势，但至今仍有许多计算工具基于MR构架，比如非常成熟的Hive
2.  Spark仅做计算，而Hadoop生态圈不仅有计算（MR）也有存储（HDFS）和资源管理调度（YARN），HDFS和YARN仍是许多大数据 体系的核心架构

Hadoop的基于进程的计算和Spark基于线程方式优缺点？

        Hadoop中的MR中每个map/reduce task都是一个java进程方式运行，好处在于 进程之间是互相独立的，每个task独享进程资源，没有互相干扰，监控方便，但是问题在于task之间不方便共享数据，执行效率比较低。 比如多个map task读取不同数据源文件需要将数据源加 载到每个map task中，造成重复加载和浪费内存。而基于线程的方式计算是为了数据共享和提高执行效率，Spark采用了线程的最小的执行 单位，但缺点是