MapReduce与Spark的区别(大数据面试高频八)

东南枝上的大雄

已于 2022-10-06 22:41:15 修改

阅读量653

点赞数

分类专栏： MapReduce spark 文章标签：大数据 mapreduce spark

于 2022-10-06 19:14:54 首次发布

本文链接：https://blog.csdn.net/weixin_67766119/article/details/127186143

版权

MapReduce运行在YARN上，Spark支持多种运行模式，其计算速度优势在于内存中的中间结果存储和更高的并行度。Spark的资源管理基于线程，而MR基于进程，导致Spark启动任务更快，但资源占用更多。Spark通过RDD实现高效容错，避免部分重复计算，功能更丰富，包括Spark Streaming、Spark SQL等。生态方面，Spark的框架和调优更复杂，MR则相对简单。

摘要由CSDN通过智能技术生成

MR与Spark的区别

1、运行环境

MR运行在YARN上

Spark支持多种运行模式：

运行模式	运行类型	说明
local	本地模式	常用于本地开发测试，分为local单线程和local-cluster多线程模式
standalone	集群模式	独立模式，在spark自己的资源调度管理框架上运行，该框架采用master/salve结构
yarn	集群模式	在yarn资源管理器框架上运行，由yarn负责资源管理，spark负责任务调度和计算
mesos	集群模式	在mesos资源管理器框架上运行，由mesos负责资源管理，spark负责任务调度和计算
k8s	集群模式