Hadoop与spark的区别-draft

一、Hadoop架构

Hadoop提供了在集群机器中实现容错、并行处理框架,具有两个关键能力:

    HDFS:分布式存储

    MapReduce:分布式计算


二、Spark架构

Spark建立在Hadoop概念之上。


三、 Spark与Hadoop的区别

1. Spark在鸡群中每个机器节点上的内存(RAM)中保存数据

    Hadoop在集群中每个机器节点的磁盘中保存数据

因此,Hadoop可以顺序访问数据,而Spark可以以任意顺序访问数据

Spark的关键好处在于交互式查询和迭代处理过程中在内存中缓存RDD。缓存起来的RDD可以避免每次重新处理父RDD链,而只需要直接返回父RDD计算后的缓存结果。

这意味着要用到spark基于内存的计算处理特性,要求集群中的机器内存要足够大。要是可用内存不够,那么spark就会优雅地溢出数据到磁盘,保证spark能继续运行。

2. Spark可以以任意顺序访问数据,支持交互式查询及迭代算法

   Hadoop适合在一个大数据集上进行单词查询。如果要做交互查询,就需要重新从磁盘加在数据,再再次进行数据处理。


阅读更多
个人分类: 大数据
上一篇spark scala 对RDD进行过滤----filter使用方法
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭