Spark 的产生背景

1、Spark 的产生背景 

 

1.1、MapReduce 的发展 

1.1.1、MRv1 的缺陷 

早在 Hadoop1.x 版本，当时采用的是 MRv1 版本的 MapReduce 编程模型。MRv1 版本的实现 都封装在 org.apache.hadoop.mapred 包中，MRv1 的 Map 和 Reduce 是通过接口实现的。MRv1 包括三个部分：

运行时环境（JobTracker 和 TaskTracker）

编程模型（MapReduce）

数据处理引擎（MapTask 和 ReduceTask） 
 
MRv1 存在以下不足： 

---

如果想入门到实战，可以看我个人博客的汇总，我将每周定时为你汇报最新的Spark学习内容，目前还更新中，后期会有一个Spark实战项目，喜欢的可以先收藏了：<