Hadoop和Spark区别，为什么Spark比Hadoop处理速度快？

Hadoop和Spark区别，为什么Spark比Hadoop处理速度快？

一、原理区别

Hadoop	Spark
MapReduce原理	DAG有向无环图更精致的MR实现。

1、Hadoop MapReduce原理

Hadoop作业称为Job，Job分为Map、Shuffle和Reduce阶段，MAP和Reduce的Task都基于JVM进程运行的。MAP阶段：从HDFS读取数据，split文件产生task，通过对应数量的Map处理，map输出的每一个键值对通过key的hash值计算一个partition，数据通过环形缓冲区，sort、spill、merge生成data和index文件；

Reduce阶段：reduce通过Shuffle Copy属于自己的那部分数据，然后sort、spill、merge形成一个大文件，调用reduce函数进行处理。

MapReduce过程详解及其性能优化​

2、Spark DAG有向无环图是更精致的MR实现。

Spark任务称为Application，一个Application对应一个SparkContext，可能存在多个job，每触发一次action操作就会产生一个job。这些job可以并行或串行执行，每个Job Driver中的DAGScheduler通过RDD的宽窄依赖关系划分stage，通过TaskSetManger管理当前运行的taskset，Driver向ExecutorBackend发送launchTask交给Executor，Executor收到task执行任务，将其封装在TaskRunner中交给线程池的线程执行。每个stage内部是pipeline方式执行，stage之间会产生shuffle，最后一个stage里面的task叫ResultTask，其它相对后面的都叫ShuffleMapTask。ShuffleMapTask根据具体的ShuffleManager写入具体文件，后会把MapStaus汇报给Driver的MapOutputTracker（会把结果交给ResultTask）；executor的生命周期是和application一样的，即使没有job运行也是存在的，所以task可以快速启动读取内存进行计算。

二、处理速度区别

处理速度：Spark处理速度比Hadoop快10~100倍。

	Hadoop	Spark
原理不同	MapReduce原理	DAG有向无环图更精致的MR实现。
资源使用不同	基于JVM进程	线程复用
中间数据存储不同	基于磁盘进行数据迭代处理	基于内存的数据迭代处理
资源管理方式不同	细粒度资源申请	粗粒度资源申请

Hadoop

（1）MR原理如上，以JVM为对象的并发的map，执行产生文件落盘，Shuffle，交给reduce执行，构造复杂算法不利于算法实现。

（2）基于JVM进程，资源申请释放开销比较大；

（3）基于磁盘进行数据迭代处理，中间结果保存在文件中，提高了可靠性，减少了内存占用，但是也降低了性能；

（4）MapReduce是细粒度资源申请，当提交job的时候，task执行时，自己申请资源，自己释放资源，task执行完毕之后，资源立即会被释放，task执行的慢，job执行的相对比较慢。优点是集群资源得到充分利用，缺点是application执行的相对比较慢。

Spark

（1）是MR更精致的实现，基于DAG有向无环图的计算模式。stage内部是pipeline：无需等待，可最大化使用集群资源；减少OOM发生；可以精准控制每个partition依赖及其内部计算；基于lineage的算子流动式函数编程，节省中间结果产生，并可以最快恢复。

（2）基于线程的复用，轻量级别的；

（3）基于内存的数据迭代处理，充分利用内存，缓存数据，内存中进行数据交换速度快；

（4）spark是粗粒度资源申请，也就是当提交spark application的时候，application会将所有的资源申请完毕，如果申请不到资源就等待，如果申请到资源才执行application，task在执行的时候就不需要自己去申请资源，task执行快，当最后一个task执行完之后task才会被释放。

优点是执行速度快，缺点是不能使集群得到充分的利用

三、容错恢复

Hadoop	Spark
将每次处理后的数据写入磁盘中，对应对系统错误具有天生优势	RDD:弹性分布式数据集（位置感知，容错，负载均衡） （1）自动进行内存和磁盘数据的切换； （2）基于lineage的高容错； （3）task失败会自动进行特定次数的重试； （4）stage失败也会进行固定次数的重试，而且只计算失败的分片。

四、数据的存储和处理

Hadoop	Spark
提供了HDFS分布式数据存储功能 提供了MapReduce分布式计算	不提供分布式文件存储管理，和其它分布式文件系统集成使用。 提供了分布式计算引擎。