三分钟入门大数据之为什么Spark可以代替MapReduce？

 

哈喽，大家好，我是汉斯老师。近几年来，互联网行业由于较高的薪资收入，受到许多人的追捧。很多年轻的学子，或是其他行业的有志青年，都想要投身到这个行业中来。然而一方面受到“互联网寒冬”的影响，最近频频传出各家知名互联网公司裁员缩编的消息；另一方面，大量的人才涌入，又使得互联网产业在职场上呈现出供过于求的特征，并最终导致了职场上的激烈竞争。那么互联网行业未来的潜力在哪里？我们又应该在哪个方向上发力，才能保证自己可以获得一份高薪而稳定的工作？基于多年的互联网行业从业经验，汉斯老师在这里向大家推荐大数据方向，希望通过本人的《三分钟入门大数据》和《十分钟精通大数据》等系列文章，帮助所有有志了解学习大数据的朋友掌握大数据的相关知识，也欢迎所有对互联网行业以及大数据领域感兴趣的朋友前来交流。

---

Spark是用来代替MapReduce的下一代大数据处理技术。这大概是大多数学习Spark的学生都曾听过的一句话，可是为什么Spark会代替MapReduce？Spark又有哪些特性使其可以替代MapRduce？而面对Spark，MapReduce又是否真的是毫无优势呢？汉斯老师将带领大家从以上几个问题来逐步加深对Spark与MapReduce之间的了解。

Spark之所以被认定可以替代MapReduce，主要是以下两个原因：

1. Spark在大多数情况下计算效率比MapRduce高。

在进行Reduce任务之前，MR需要对所有Map任务的输出结果进行排序和转换，并且要将处理后的结果映射到原始输入数据上，这个过程就是Shuffle。在这个过程中，假定Map任务的输出结果足够多，会出现内存溢出的问题，为此需要将溢出的数据写入到磁盘中。之后在Reduce任务进行时，会重新在磁盘中读取Shuffle的处理结果。

此外，常常使用Hive SQL进行查询的小伙伴们也许会发现，有的时候，当我们写的SQL语句稍微复杂一点，比如存在分组，表联合等操作时，我们会注意到，Hive SQL在执行时，会连续启动多次MapReduce，这是由于MapReduce的每个任务，都是以一个进程的方式来启动的，各个进程之间不具备通讯的管道，假如一个进程想要使用另一个进程的结果，就必须要去HDFS中去读取，这显然需要耗费大量的时间。

而对于Spark而言，由于其使用有向无环图（DAG）来对整个数据处理的过程进行管理。因此当某些数据被处理过后，如果还需进行后续的处理，则这部分数据是不会写入到磁盘中，而是缓存到内存中，方便下一次读取。这样就大大节省了磁盘读写的时间。

2.相较于MapReduce，Spark可以处理复杂的线性代数问题，泛化多体问题，图论问题甚至实时运算。

A. 线性代数运算主要包括线性系统，特征值问题，以及线性回归主成分分析（PCA）等逆问题。这其中，MapReduce仅能解决线性回归问题，而包括PCA在内的部分问题是很难基于MapReduce框架来实现的。

B. 广义多体问题主要包括距离，核或者其他类型的点或点集的关联性问题。常见的问题包括近邻搜索K均值聚类等问题。这其中，MapReduce仅能支持K均值聚类等部分难度较低的问题。

C. 图论计算是以图形式的数据或者可以通过图来建模的问题。包括中心度，距离计算以及排序等，这些都是MapReduce上不易实现的。

D. 由于上文中提到的MapReduce中每一个任务都是独立进程，这意味着每一次对数据的计算与处理，都需要重新启用一遍MapReduce的执行流程，对之前的数据进行重新计算。这也就造成了MapReduce中，缺乏能够长期存活一个MR作业的机制，而Spark是支持流处理的，这使得Spark可以进行实时运算。

事实上，Spark与MR之间，还存在诸如容错机制等差异，然而总结来说，Spark是要优于MapReduce的。但在具体案例中，是否Spark一定比MapReduce效率高，又或者是否使用Spark一定比MapReduce好，则取决于实际要处理的问题，不可一概而论。