MR与Spark的区别
1、运行环境
MR运行在YARN上
Spark支持多种运行模式:
运行模式 | 运行类型 | 说明 |
---|---|---|
local | 本地模式 | 常用于本地开发测试,分为local单线程和local-cluster多线程模式 |
standalone | 集群模式 | 独立模式,在spark自己的资源调度管理框架上运行,该框架采用master/salve结构 |
yarn | 集群模式 | 在yarn资源管理器框架上运行,由yarn负责资源管理,spark负责任务调度和计算 |
mesos | 集群模式 | 在mesos资源管理器框架上运行,由mesos负责资源管理,spark负责任务调度和计算 |
k8s | 集群模式 |