Spark和Hadoop的对比

一、二者各方面比较

	Hadoop	Spark
类型	基础平台，包含计算、存储、调度	分布式计算工具
场景	大规模数据集上的批处理	迭代计算，交互式计算，流计算
价格	对机器要求低，便宜	对内存有要求，相对较贵
编程范式	Map+Reduce，API较为底层，算法适应性差	RDD组成DAG有向无环图，API较为顶层，方便使用
数据存储结构	MapReduce中间计算结果在HDFS磁盘上，延迟大	RDD中间运算结果在内存中，延迟小
运行方式	Task以进程方式维护，任务启动慢	Task以线程方式维护，任务启动快

二、Spark不能完全替代Hadoop的原因

• Spark主要用于替代Hadoop中的MapReduce计算模型。存储依然可以使用HDFS，但是中间结果可以存放在内存中；
• Spark已经很好地融入了Hadoop生态圈，并成为其中的重要一员，它可以借助于YARN实现资源调度管理，借助于HDFS实现分布式存储。

三、Hadoop基于进程计算和Spark基于线程计算的优缺点

Hadoop中的MR中每个map/red