Spark相对于MapReduce的优势
- MapReduce存在的问题
1. MapReduce框架局限性
1)仅支持Map和Reduce两种操作
2)处理效率低效。
a)Map中间结果写磁盘,Reduce写HDFS,多个MR之间通过HDFS交换数据; 任务调度和启动开销大;
b)无法充分利用内存
c)Map端和Reduce端均需要排序- 3)不适合迭代计算(如机器学习、图计算等),交互式处理(数据挖掘) 和流式处理(点击日志分析)
2. MapReduce编程不够灵活
- 1)尝试scala函数式编程语言
Spark
高效(比MapReduce快10~100倍)
1)内存计算引擎,提供Cache机制来支持需要反复迭代计算或者多次数据共享,减少数据读取的IO开销
2)DAG引擎,减少多次计算之间中间结果写到HDFS的开销
3)使用多线程池模型来减少task启动开稍,shuffle过程中避免 不必要的sort操作以及减少磁盘IO操作- 易用
1)提供了丰富的API,支持Java,Scala,Python和R四种语言
2)代码量比MapReduce少2~5倍 - 与Hadoop集成 读写HDFS/Hbase 与YARN集成
- 丰富的API(Java、Scala、Python、R四种语言,sort、join等高效算子)
- DAG执行引擎,中间结果不落盘
- 线程池模型减少task启动开销
- 充分利用内存,减少磁盘IO
- 避免不必要的排序操作
- 适合迭代计算,比如机器学习算法
容错:
- 1.当执行中途失败时,MapReduce会从失败处继续执行,因为它是依赖于硬盘驱动器的。
- 但是Spark就必须从头开始执行,这样MapReduce相对节省了时间。