MapReduce\Tez\Storm\Spark四个框架的异同

346人阅读 评论(0) 收藏 举报
1) MapReduce:是一种离线计算框架,将一个算法抽象成Map和Reduce两个阶段进行

处理,非常适合数据密集型计算。

2) Spark:MapReduce计算框架不适合迭代计算和交互式计算,MapReduce是一种磁盘

计算框架,而Spark则是一种内存计算框架,它将数据尽可能放到内存中以提高迭代

应用和交互式应用的计算效率。

3) Storm:MapReduce也不适合进行流式计算、实时分析,比如广告点击计算等,而

Storm则更擅长这种计算、它在实时性要远远好于MapReduce计算框架。

4)Tez: 运行在YARN之上支持DAG作业的计算框架,对MapReduce数据处理的归纳。它

把Map/Reduce过程拆分成若干个子过程,同时可以把多个Map/Reduce任务组合成一个

较大的DAG任务,减少了Map/Reduce之间的文件存储。同时合理组合其子过程,也可

以减少任务的运行时间。
查看评论

Tez学习笔记 --- Tez与MapReduce原理与分析

Tez学习笔记 --- Tez与MapReduce原理与分析
  • u012965373
  • u012965373
  • 2017-08-31 17:20:57
  • 643

简单说说MapReduce, Tez, Spark

云码最近邀请来yunmar老师来做培训,其浮夸的授课方式略接受不了。其强烈推崇Spark技术,宣称Spark是大数据的未来,同时宣布了Hadoop的死刑。 那么与Hadoop相比,Spark技术如何...
  • linuxnc
  • linuxnc
  • 2015-01-25 09:09:01
  • 1850

MapReduce\Tez\Storm\Spark四个框架的异同

1) MapReduce:是一种离线计算框架,将一个算法抽象成Map和Reduce两个阶段进行处理,非常适合数据密集型计算。2) Spark:MapReduce计算框架不适合迭代计算和交互式计算,Ma...
  • zly9923218
  • zly9923218
  • 2016-04-28 16:56:36
  • 1796

各种编程模型,hadoop,pig,tez,spark

作者:用心阁 链接:https://www.zhihu.com/question/26568496/answer/41608400 来源:知乎 著作权归作者所有,转载请联系作者获得授权。 ...
  • chang_ge
  • chang_ge
  • 2016-08-24 10:04:31
  • 1148

MapReduce、Tez、Storm、Spark四个框架的异同

1) MapReduce:是一种离线计算框架,将一个算法抽象成Map和Reduce两个阶段进行处理,非常适合数据密集型计算。2) Spark:MapReduce计算框架不适合迭代计算和交互式计算,Ma...
  • chenweijiSun
  • chenweijiSun
  • 2017-05-02 18:06:08
  • 406

Spark在任何情况下均比MapReduce高效吗?

答案是否定的。
  • sunspeedzy
  • sunspeedzy
  • 2017-04-04 14:44:06
  • 1230

浅析 MapReduce/ Spark/ Spark Steaming/ Storm 与 HBase/HDFS

mapreduce 是大的批量操作,不要求时限。基于文件系统,hdfs。 spark 是快速的批量操作,基于内存,所以速度快。其主要亮点在于把过程给数据。 storm是流式处理,快速实时。 sto...
  • wangfei8348
  • wangfei8348
  • 2016-10-25 18:58:19
  • 2447

mapreduce和storm两者处理数据的区别!

数据处理对于从事数据工作的朋友是每天日常工作了,但全量数据处理也常常借助系统软件,比如最常用的是hadoop、hive、apachestorm等等.今天我们大圣众包(www.dashengzb.cn)...
  • dashenghuahua
  • dashenghuahua
  • 2016-12-20 11:12:02
  • 1380

对比 Spark 和 MapReduce

Apache 基金会下的 Spark 再次引爆了大数据的话题。带着比 Hadoop MapReduce 速度要快 100 倍的承诺以及更加灵活方便的 API,一些人认为这或许预示着 Hadoop Ma...
  • chenxing888
  • chenxing888
  • 2016-02-03 21:49:33
  • 529

spark相比hadoop的 优势如下

1、中间结果输出   基于mr的计算引擎通常会将中间结果输出到磁盘上,进行存储和容错。处于任务管道承接的考虑,当一些查询翻译到mr任务时,旺旺会产生多个stage,而这些串联的stage又依赖于底层...
  • qiezikuaichuan
  • qiezikuaichuan
  • 2016-05-30 15:56:20
  • 1057
    个人资料
    等级:
    访问量: 8790
    积分: 287
    排名: 27万+
    文章分类