mr和spark的区别

最新推荐文章于 2023-11-17 10:32:14 发布
最新推荐文章于 2023-11-17 10:32:14 发布
阅读量486 收藏 1
点赞数
文章标签： spark mr big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45801864/article/details/121118251
版权

不严谨的说：mr每次计算中间结果需要落盘，spark计算结果存储于内存
其实mr、spark都使用到了内存计算、并且都落盘过

spark通过DAG对mr进行了一些优化，使得减少了与磁盘的交互，相比于mr有了更优解

但是mr每次落盘虽然慢了一些但是相对于spark更为稳定，当数据量很大的时候spark加载数据到内存可能导致OOM，因此mr适合计算较长周期的任务指标

而我向你去
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Spark学习笔记之（一）：MR与Spark的区别
u010737756的博客
07-02 4280
本文仅列出了较大的区别点，实际mr与Spark为完全不同的大数据计算组件。 1.速度： MR与Spark的根本区别（关键优化）在于：Spark除了需要shuffle的计算，其他是将结果/中间结果持久化到内存中，而MR是都需要落地到磁盘(map.reduce落地都写)，因此Spark格外适用于频繁读写中间结果的迭代计算 而MR最终落地HDFS，Spark最终也会落地节点磁盘，因此如果只是简单的非迭代计算，MR最终只会比Spark多消耗一部分（HDFS不同datanode间的）网络IO。 所以如果有项目需求为简
Spark 和与MR的区别
蛋蛋淡淡定的庄园
11-28 1633
1.1、MapReduce 的发展 1.1.1、MRv1 的缺陷 早在 Hadoop1.x 版本，当时采用的是 MRv1 版本的 MapReduce 编程模型。MRv1 版本的实现 都封装在 org.apache.hadoop.mapred 包中，MRv1 的 Map 和 Reduce 是通过接口实现的。MRv1 包括三个部分： 运行时环境（JobTracker 和 TaskTracker） 编程...
Spark为什么比MR快
日句灬的博客
08-02 2338
1、spark是基于内存进行数据处理的，MapReduce是基于磁盘进行数据处理的 ​ MapReduce的设计：中间结果保存在文件中，提高了可靠性，减少了内存占用。但是牺牲了性能。 ​ Spark的设计：基于内存，迭代计算的中间结果不落盘直接在内存中传递。只有shuffle时或中间结果内存存不下才落盘。而MR的中间结果肯定会落盘。比如运行pageRank或者机器学习的算法，有可能要迭代几百次。 2、spark中具有DAG有向无环图，DAG有向无环图在此过程中减少了shuffle以及落地磁盘的次数 ​
大数据---spark和mr的区别
热门推荐
lipviolet的博客
03-17 1万+
首先最核心的两点：内存和磁盘的区别；job中途失败重新计算的区别。 ---spark最核心的概念是RDD（弹性分布式数据集），它的所有rdd在并行运算过程程中，可以做到数据共享，也就是可以重复使用mr在计算过程中 ---mapr：一次数据过程包含从共享文件系统读取数据、进行计算、完成计算、写入计算结果到共享存储中，在计算过程中，不同计算节点之间保持高度并行，这样的数据流模型使得那些需要反复使用...
mr或spark点击流测试数据
10-13
此为经典的网站日志点击流分析数据，每行数据的内容有访问时间，请求的url，来源url，ip，浏览器类型，响应码，请求类型等等
Spark和MR对比
iilegend的博客
06-14 1477
MR的迭代: Spark中的迭代: 1、spark把运算的中间数据存放在内存，迭代计算效率更高；mapreduce的中间结果需要落地，需要保存到磁 盘，这样必然会有磁盘io操做，影响性能。 2、spark容错性高，它通过弹性分布式数据集RDD来实现高效容错，RDD是一组分布式的存储在节点内存中的只 读性质的数据集，这些集合是弹性的，某一部分丢失或者出错，可以通过整个数据集的计算流程的血...
spark-为什么spark比mr快
DCHAO的博客
03-20 1060
{1} 使用DAG来组织逻辑，提供丰富的算子。 DAG由一系列RDD通过血缘组成，通过job，stage的划分，来实现计算过程的优化。使用mr时，开发者常常花费大量时间考虑如何把操作组合到一起，以减少 MapReduce 的迭代次数。而在 Spark 的DAG可以自动优化，写出一个非常复杂的映射并不见得能比使用很多简单的连续操作获得好很多的性能。spark提供了多种算子，算子内部也进行了优化，可以更快的处理业务。而MR模型只有map和reduce2个阶段，很多代码需要自己封装。因此，用户可以用更小的操作来组
一文详解spark与mr的不同，让你清楚的明白为什么spark比mr“快”
weixin_42307036的博客
01-05 2976
问题1描述： Spark计算比MapReduce快的根本原因在于DAG计算模型。一般而言，DAG相比Hadoop的MapReduce在大多数情况下可以减少shuffle次数（怎么体现？） 解答： Spark的DAGScheduler相当于一个改进版的MapReduce，如果计算不涉及与其他节点进行数据交换，Spark可以在内存中一次性完成这些操作，也就是中间结果无须落盘，减少了磁盘IO的操作。但是，如果计算过程中涉及数据交换，Spark也是会把shuffle的数据写磁盘的！！！ 另外有同学提到，Spar
MR和Spark的比较
weixin_41100967的博客
03-21 1609
3、spark是粗粒度资源申请，也就是当提交spark application的时候，application会将所有的资源申请完毕，如果申请不到资源就等待，如果申请到资源才执行application，task在执行的时候就不需要自己去申请资源，task执行快，当最后一个task执行完之后task才会被释放。MapReduce中计算结果需要落地，保存到磁盘上，这样势必会影响整体速度，而Spark支持DAG图的分布式并行计算的编程框架，减少了迭代过程中数据的落地，提高了处理效率。最后，Spark更加通用。
Spark 和 MR(MapReduce) 的区别
瓜牛呱呱的博客
04-09 1449
个人总结了三点，如下： 数据处理形式不同：Spark的数据转换都是基于内存的，而MR都是处理一次刷到磁盘一次 代码书写的不同：Spark提供了非常丰富的算子，书写起来非常爽，而MR的书写就有点让人头痛 容错性不同：Spark的容错比MR更加高，因为Spark算子有血缘关系 ...
hive on spark mr 数据开发常见问题解决
11-20
hive工作常见问题解决收集开发人员在Hive日常开发过程中难免遇到各种各样的hive报错，这些报错信息很多时间并没有形成汇总的知识库，每次遇到...from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask 空文件 等等
spark以及mr的个人心得
03-24
描述自己对spark以及mr的个人心得总结,对spark优化,mr的主体流程的所有解读
spark或mr引擎插入的数据，hive表查询数据为0
最新发布
02-28
spark或mr引擎插入的数据，hive表查询数据为0
Spark的Shuffle总结分析
01-07
Shuffle就是对数据进行重组，由于分布式计算的特性和要求，在实现细节上更加繁琐和复杂。 在MapReduce框架，Shuffle是连接Map和Reduce之间的桥梁，Map阶段通过shuffle读取数据并输出到对应的Reduce，而Reduce阶段...
大数据处理引擎对比：MR、Spark和Tez
C_19870的博客
11-17 122
为了解决这些问题，Spark引擎应运而生。MR引擎适用于处理大规模数据和相对较慢的任务，而Spark引擎通过内存计算和DAG优化，在处理天指标等需要快速响应的任务时具备更高的效率和可靠性。同时，MR引擎也在不断优化，通过引入新的特性和改进算法，提高其在大规模数据处理中的性能。无论是处理大规模数据还是需要快速响应的任务，这些引擎都在不断演进和改进，为用户提供更加强大和高效的数据处理工具。特别是对于需要更快速响应和高效处理的任务，MR引擎的磁盘IO和多阶段落盘的特性可能会导致较长的计算时间和性能瓶颈。
spark较之MR快在哪里
lzf的博客
10-19 951
1. IO操作 Spark是基于内存的计算，而Hadoop是基于磁盘的计算；Spark是一种内存计算技术。所谓的内存计算技术也就是缓存技术，把数据放到缓存中，减少cpu磁盘消耗。Spark和Hadoop的根本差异是多个任务之间的数据通信问题：Spark多个任务之间数据通信是基于内存，而Hadoop是基于磁盘。Hadoop每次shuffle操作后，必须写到磁盘，而Spark在shu...
数据仓库-Spark为什么比MR快？
DolphinF的博客
07-10 223
（2）Spark不需要将计算的中间结果写入磁盘。这得益于Spark的RDD，在各个RDD的分区中，各自处理自己的中间结果即可。（2）对于Spark来说，每一个Job的结果都可以保存到内存中，供后续Job使用。（1）MR在Map阶段会在溢写阶段将中间结果频繁的写入磁盘，在Reduce阶段再从磁盘拉取数据。（1）对MR来说，每一个Job的结果都会落地到磁盘。（2）Spark的任务是以线程的方式运行在进程中。（1）MR任务以进程的方式运行在Yarn集群中。开启和调度进程的代价一般情况下大于线程的代价。
mr与spark的比较
weixin_34278190的博客
01-22 134
2019独角兽企业重金招聘Python工程师标准>>> ...
DAG vs. MPP vs MR
weixin_33872566的博客
01-25 539
2019独角兽企业重金招聘Python工程师标准>>> ...
mr和spark区别
09-14
MR和Spark有一些关键的区别。首先，MR是一种多进程的计算框架，而Spark是一种多线程的计算框架。在MR中，所有的计算结果都需要落地到磁盘上，而Spark则可以将结果和中间结果持久化到内存中，以提高计算速度。这使得...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值