Hadoop与Spark对比

Hadoop

提到Hadoop大的方向一般包括两部分

• 一部分是Map Reduce计算引擎，一般说Hadoop的缺点就是说的这部分
• 另一部分是HDFS存储，目前应用还是很广泛

Map Reduce的缺点

1. 只能进行Map和Reduce操作
2. 中间计算结果要保存再磁盘，反复读取IO操作会消耗大量资源
3. Reduce操作在Map之后，需要等并行的所有Map任务完成之后才能进行Reduce操作
4. 以上2和3导致Hadoop延迟较高

Sprk针对MapReduce缺陷的改进

1. 除了Map和Reduce操作还包含filter、group by、join等操作
2. 中间结果保存再内存中，对中间结果的重复读取，节省时间和资源消耗
3. 有向无环图可以明确各stage间的依赖关系，避免像MapReduce一样所有的Reduce操作都要依赖全部的Map执行完成