很多初学者在刚刚接触大数据的时候会有很多疑惑,比如对MapReduce、Storm、Spark三个计算框架的理解经常会产生混乱。
哪一个适合对大量数据进行处理?哪一个又适合对实时的流数据进行处理?又该如何来区分他们呢?
我对比整理了这3个计算框架的基本知识,大家可以了解一下以便对这个3个计算框架有一个整体的认识。
大数据学习群119599574
MapReduce
-
分布式离线计算框架
-
主要适用于大批量的集群任务,由于是批量执行,故时效性偏低。
-
原生支持 Java 语言开发 MapReduce ,其它语言需要使用到 Hadoop Streaming 来开发。
Spark
-
Spark 是专为大规模数据处理而设计的快速通用的计算引擎,其是基于内存的迭代式计算。
-
Spark 保留了MapReduce 的优点,而且在时效性上有了很大提高,从而对需要迭代计算和有较高时效性要求的系统提供了很好的支持。
-
开发人员可以通过Java、Scala或者Python等语言进行数据分析作业编写,并使用超过80种高级运算符。
-
Spark与HDFS全面兼容,同时还能与其它Hadoop组件—包括YARN以及HB