一、二者各方面比较
Hadoop | Spark | |
---|---|---|
类型 | 基础平台,包含计算、存储、调度 | 分布式计算工具 |
场景 | 大规模数据集上的批处理 | 迭代计算,交互式计算,流计算 |
价格 | 对机器要求低,便宜 | 对内存有要求,相对较贵 |
编程范式 | Map+Reduce,API较为底层,算法适应性差 | RDD组成DAG有向无环图,API较为顶层,方便使用 |
数据存储结构 | MapReduce中间计算结果在HDFS磁盘上,延迟大 | RDD中间运算结果在内存中,延迟小 |
运行方式 | Task以进程方式维护,任务启动慢 | Task以线程方式维护,任务启动快 |
二、Spark不能完全替代Hadoop的原因
- Spark主要用于替代Hadoop中的MapReduce计算模型。存储依然可以使用HDFS,但是中间结果可以存放在内存中;
- Spark已经很好地融入了Hadoop生态圈,并成为其中的重要一员,它可以借助于YARN实现资源调度管理,借助于HDFS实现分布式存储。
三、Hadoop基于进程计算和Spark基于线程计算的优缺点
Hadoop中的MR中每个map/red