Spark与Hadoop MR兄弟两的不同

在大数据相关的面试中，经常会遇到了一个经典的问题：请说说Spark与Hadoop MR的异同？

虽然你有可能过关了，但是由于现场发挥的原因，看了这篇文章你还可以答得更好，就在这里总结一下这个问题。

首先Spark是借鉴了mapreduce并在其基础上发展起来的，继承了其分布式计算的优点并改进了mapreduce

明显的缺陷，但是二者也有不少的差异具体如下：

1、spark把运算的中间数据存放在内存，迭代计算效率更高；mapreduce的中间结果需要落地，需要保存到磁盘，

这样必然会有磁盘io操做，影响性能。

2、spark容错性高，它通过弹性分布式数据集RDD来实现高效容错，RDD是一组分布式的存储在节点内存中的

只读性质的数据集，这些集合是弹性的，某一部分丢失或者出错，可以通过整个数据集的计算流程的血缘关系

来实现重建；mapreduce的话容错可能只能重新计算了，成本较高。

3、spark更加通用，spark提供了transformation和action这两大类的多个功能api，另外还有流式处理

sparkstreaming模块、图计算GraphX等等；mapreduce只提供了map和reduce两种操作，流计算以及其他

模块的支持比较缺乏。

4、spark框架和生态更为复杂，首先有RDD、血缘lineage、执行时的有向无环图DAG、stage划分等等，

很多时候spark作业都需要根据不同业务场景的需要进行调优已达到性能要求；mapreduce框架及其生态

相对较为简单，对性能的要求也相对较弱，但是运行较为稳定，适合长期后台运行。

从现在开始更新干货希望大家多多关注 相互学习一定不会给大家失望

想了解大数据或者学习大数据的可以关注我想获取资料的加我QQ群863529330

Spark与Hadoop MR兄弟两的不同

总结，spark生态更为丰富，功能更为强大、性能更佳，适用范围更广；mapreduce更简单、稳定性好、

适合离线海量数据挖掘计算。

现在会一直持续跟新干货希望大家多多关注可以多评论讨论
想了解大数据或者学习大数据的可以关注我
想获取资料的加我QQ群863529330