本文总结了Spark与MapReduce的主要区别，包括运行机制、性能、容错性、适用性和生态系统。Spark基于线程，任务在同一进程内运行，提供内存计算和高效容错；而MapReduce基于进程，任务完成后进程结束，容错性较弱，适用于批处理。Spark的API丰富，支持流处理和图计算，生态系统复杂，需要更多调优；MapReduce则更简洁，运行稳定。
总结
- MR是基于进程，spark是基于线程
- Spark的多个task跑在同一个进程上，这个进程会伴随spark应用程序的整个生命周期，即使没有作业进行，进程也是存在的
- MR的每一个task都是一个进程，当task完成时，进程也会结束
- 所以，spark比MR快的原因也在这，MR启动就需要申请资源，用完就销毁，但是spark把进程拿到以后，这个进程会一直存在，即使没有job在跑，所以后边的job可以直接启动，不需要再重新申请资源
-
速度
spark把运算的中间数据存放在内存，迭代计算效率更高；MR的中间结果需要落地，需要保存到磁盘，这样必然会有磁盘IO操作，影响性能
-
容错性
spark容错性高，它通过弹性分布式数据集RDD来实现高效容错，RDD是一组分布式的存储在节点内存中的只读性质的数据集，这些集合石弹性的，某一部分丢失或者出错，可以通过整个数据集的计算流程的血缘关系来实现重建；MR的话容错可能只能重新计算了，成本较高
-
适用面
spark更加通用，spark提供了transformation和action这两大类的多个功能的api，另外还有流式处理sparkstreaming模块，图计算GraphX等；MR只提供了map和reduce两种操作，流计算以及其他模块的支持比较缺乏
-
框架和生态
最低0.47元/天 解锁文章
扫一扫
4461
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
