前文回顾:Hive和数据仓库
目录
📚为什么会有Spark
MapReduce计算模式的缺陷
- 最初设计用于高吞吐量批处理数据,不擅长低延迟。
- 需要将数据存储到HDFS,迭代计算中的数据共享效率太低。
- 系统设计没有充分利用内存,很难实现高性能。
- MapReduce不表达复杂的计算问题,如图形计算、迭代计算。
前文回顾:Hive和数据仓库
目录
MapReduce计算模式的缺陷
- 最初设计用于高吞吐量批处理数据,不擅长低延迟。
- 需要将数据存储到HDFS,迭代计算中的数据共享效率太低。
- 系统设计没有充分利用内存,很难实现高性能。
- MapReduce不表达复杂的计算问题,如图形计算、迭代计算。