目前主流的三大分布式计算系统Hadoop、Storm、Spark被广泛运用于大数据领域,且常常用来进行比较。现在就来分析一下,三只之间的区别
Hadoop、Spark的比较
核心组成
hadoop核心包括Hadoop分布式文件系统(HDFS),Hadoop YARN,Hadoop
MapReduce。
Spark包括sparkcore,sparksql,sparkstreaming,sparkcore可以用来做离线处理,sparksql可以用来交互式查询,sparkstreaming用来进行实时处理。
处理引擎
相比MapReduce基于磁盘的批量处理引擎,
Spark赖以成名之处是其数据实时处理功能。
存储方式
MapReduce和Spark的主要区别在于:
MapReduce使用持久存储。
而Spark使用弹性分布式数据集(RDDS)。
优劣对比
Spark是在借鉴了MapReduce之上发展而来的,继承了其分布式并行计算的优点并改进了MapReduce明显的缺陷,具体如下:
- 首先,Spark把中间数据放到内存中,迭代运算效率高。