Spark SQL 笔记(2)——Spark 生态圈和 Hadoop 生态圈对比

1 Spark 产生的背景

1.1 MapReduce 的局限性

• 代码繁琐
• 只能够支持map 和 reduce 方法；
• 执行效率低；
• 不适合多次迭代、交互式、流式的处理；

1.2 框架多样化

• 批处理（离线）：MapReduce,Hive,Pig
• 流式处理（实时）：Storm,JStorm,
• 交互式计算：Impala

1.3 Hadoop 生态系统

1.4 Spark 生态系统（BDAS）

BDAS : Berkeley Data Analytics Stack