spark为什么比MapReduce快

最新推荐文章于 2022-06-24 16:37:48 发布
最新推荐文章于 2022-06-24 16:37:48 发布
阅读量167 收藏
点赞数
文章标签： 大数据
原文链接：https://my.oschina.net/u/2969788/blog/2966883
版权

spark为什么比MapReduce快

  • spark task启动时间快,因为spark采用fork线程的方式,而Hadoop每次都创建新的进程

  • spark只有在shuffle的时候才将数据写入磁盘,Hadoop MapReduce多个mp作业之间交换数据也依赖于磁盘,如果MapReduce 分片设计的比较好会减少数据在多个map之间传递的可能性,最好的情况是 尽量少的map 同时保证 map需要的数据不会在出现两个或者两个以上的block上

  • spark缓存机制比Hadoop的MapReduce更高效一些,因此spark适合反复迭代计算同一批数据

转载于:https://my.oschina.net/u/2969788/blog/2966883

chuya1943
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
为什么spark比mapreduce处理数据快
01-07
落地方式不同 mapreduce任务每一次处理完成之后所产生的结果数据只能够保存在磁盘，后续有其他的job需要依赖于前面job的输出结果，这里就只能够进行大量的io操作获取得到，性能就比较低。 spark任务每一次处理的完成之后所产生的结果数据可以保存在内存中，后续有其他的job需要依赖于前面job的输出结果，这里就可以直接从内存中获取得到，大大减少磁盘io操作，性能非常高。 处理方式不同 mapreduce的任务是以进程的方式运行在yarn集群中，比如有100个MapTask要运行，这里就需要开启100个进程。 spark的任务是以线程的方式运行在worker节点的executor进程中，
为什么Spark比MapReduce快？
Mr.pan felix的专栏
07-08 1344
通常大家只是说Spark是基于内存计算的，速度比MapReduce要快。或者说内存中迭代计算。其实我们要抓住问题的本质。总结有以下几点： 1、Spark vs MapReduce ≠ 内存 vs 磁盘 其实Spark和MapReduce的计算都发生在内存中，区别在于： MapReduce通常需要将计算的中间结果写入磁盘，然后还要读取磁盘，从而导致了频繁的磁盘IO。 Spark则不需要将计算的中间结果写入磁盘，这得益于Spark的RDD（弹性分布式数据集，很强大）和DAG（有向无环图），其中DAG记录
Spark为什么比MapReduce快
丨若寒丶的博客
04-11 490
RDD缓存，RDD计算是可以设置缓存的，Spark把运算的中间数据存放在内存，迭代计算效率更高。 Map缓存，Map的结果也是会被缓存的，以便以后利用 Spark容错性好，弹性数据集可以进行计算重建，MR的容错只能重新计算。 对Shuffle操作的优化，生成的中间文件减少了，那么磁盘IO就会减少，Spark计算对内存的利用和运行的并行度比MR高。 由于MapReduce会对中间数据进行排序，所以...
Spark简介
m0_55834564的博客
06-24 252
Spark 确实会比 MapReduce 更有优势。但是 Spark 是基于内存的，所以在实际的生产环境中，由于内存的限制，可能会 由于内存资源不够导致 Job 执行失败，此时，MapReduce 其实是一个更好的选择，所以 Spark 并不能完全替代 MR。......
Spark（一）：基础
qq_41816516的博客
11-10 1893
Spark 概述 什么是Spark Spark是一种基于内存的快速，通用，可扩展的大数据分析计算引擎 Spark 是一种由 Scala 语言开发的快速、通用、可扩展的大数据分析引擎 Spark Core 中提供了 Spark 最基础与最核心的功能 Spark SQL 是 Spark 用来操作结构化数据的组件。通过 Spark SQL，用户可以使用SQL 或者 Apache Hive 版本的 SQL 方言（HQL）来查询数据。 Spark Streaming 是 Spark 平台上针对实时数据进行流式计算
如何将MapReduce转化为Spark
01-30
本文首先对MapReduce和Spark的基本信息做了对比性介绍，接着分别对 MapReduce和Spark进行基础性知识讲解，然后在单台Linux服务器上安装了Spark，并以实际代码演示了从 MapReduce转换代码到Spark时需要注意的事项。...
03_MapReduce 和Spark on YARN.docx
02-24
在大数据处理领域，Hadoop MapReduce 和 Apache Spark 是两种重要的计算框架，它们都在YARN（Yet Another Resource Negotiator）上运行以实现资源管理和任务调度。本文将深入探讨这两个框架以及YARN的相关概念。 ...
BDP_Spark_Hive_MapReduce
02-20
标题“BDP_Spark_Hive_MapReduce”暗示了这是一个关于大数据处理技术的项目，主要涉及三个核心组件：Apache Spark、Apache Hive以及MapReduce。这些工具在大数据生态系统中扮演着重要角色，尤其在数据处理和分析方面...
为什么Spark比MapReduce快
qq_45518387的博客
08-19 1218
- 为什么Spark比MapReduce快？ Spark是基于内存的，而MapReduce是基于磁盘的迭代 MapReduce的设设计：中间结果保存在文件中，提高了可靠性，减少了内存占用。但是牺牲了性能。 Spark的设计：数据在内存中进行交换，要快一些，但是内存这个东西，可靠性不如磁盘。所以性能方面比MapReduce要好。 DAG计算模型在迭代计算上还是比MapReduce的效率更高 有向无环...
百度面试总结：spark比MapReduce快的原因是什么？（比较完整）
wyqwilliam的博客
12-01 6449
1、spark是基于内存进行数据处理的，MapReduce是基于磁盘进行数据处理的 MapReduce的设设计：中间结果保存在文件中，提高了可靠性，减少了内存占用。但是牺牲了性能。 Spark的设计：数据在内存中进行交换，要快一些，但是内存这个东西，可靠性不如磁盘。所以性能方面比MapReduce要好。 DAG计算模型在迭代计算上还是比MapReduce的效率更高 2、spark中具有DAG有...
为什么Spark运行比MapReduce快
12-29 2773
Spark比MapReduce快主要有三点。IO Spark和MapReduce的计算都发生在内存中，但是MapReduce通常将计算的中间结果写入磁盘，从而导致了频繁的磁盘IO。 Spark则因为RDD弹性分布式数据集和DAG有向无环图不需要将计算的中间结果写入磁盘，大大减少了磁盘IO。 排序 MapReduce在Shuffle时需要花费大量时间进行排序。 Spark在Shuffle时则只有部分场景才需要排序。 进程、线程 MapReduce采用了多进程模型，多进程模型好处是可以细粒度控制每个任务占用
Spark的误解-不仅spark是内存计算，hadoop也是内存计算
weixin_34326558的博客
07-21 181
市面上有一些初学者的误解，他们拿spark和hadoop比较时就会说，Spark是内存计算，内存计算是spark的特性。请问在计算机领域，mysql,redis,ssh框架等等他们不是内存计算吗?依据冯诺依曼体系结构，有什么技术的程序不是在内存中运行，需要数据从硬盘中拉取，然后供cpu进行执行？所有说sprk的特点是内存计算相当于什么都没有说。那么spark的真正特点是什么?...
Spark的三大误解
long的博客
04-14 1834
Spark三大误解
Spark基本概念的高频面试题
weixin_45568892的博客
04-25 586
Spark基本概念的高频面试题 1 spark的两大基本算子是什么，有什么区别？ 1、transformation 变换/转换算子:这种变换并不触发提交作业，完成作业中间过程处理。 transformation操作是延迟计算的，也就是说从一个RDD转换生成另一个RDD的转换操作并不是马上执行，需要等到有action操作的时候才会真正触发运算。 2、action行动算子:这类算子会触发sparkco...
Spark相对于MapReduce的优势
Alvin_CSDN_blog的博客
06-23 5280
Spark是类Hadoop MapReduce的通用的并行计算框架，但不同于MapReduce的是Job中间输出和结果可以保存在内存中，也就是说spark是基于内存计算的，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法这里简单说一下对spark相对于mapreduce的优势
SparkCore和MapReduce运行效率比较/Spark运行较快原因
weixin_42887459的博客
09-14 4111
spark是借鉴了Mapreduce,并在其基础上发展起来的，继承了其分布式计算的优点并进行了改进，spark生态更为丰富，功能更为强大，性能更加适用范围广，mapreduce更简单，稳定性好。主要区别 （1）spark把运算的中间数据(shuffle阶段产生的数据)存放在内存，迭代计算效率更高，mapreduce的中间结果需要落地，保存到磁盘 （2）Spark容错性高，它通过...
为什么Spark比MapReduce快的原因
Stray_Lambs的博客
07-02 1115
对于这个问题我先给出核心的答案，后面会进一步的扩展，有兴趣的可以去了解一下扩展内容。 核心答案 1、基于内存 学过Spark的应该都知道，Spark是基于内存进行数据处理操作的，而MapReduce则是基于磁盘进行数据处理。 MR的设计：将MapTask的输出作为中间结果，保存到文件当中，随后作为ReduceTask的输入。这样可以提高可靠性，减少了内存的占用，但是牺牲了性能。 Spark的设计：数据在内存当中进行交换(注意是交换，也就是转换算子的操作)，但是内存可靠性不如磁盘，所以性能方面比MR
Spark 为啥比 MapReduce 快？
技术大神之路
06-06 942
Spark 为啥比 MapReduce 快？ DAG优化 和 内存 (1) 算子灵活性：MR只支持Map和Reduce 两种操作，而Spark有丰富的算子。 (2) Map 中间结果写磁盘，Reduce 写HDFS，多个MR之间通过HDFS交换数据。 (3) DAG引擎，先划分为Stage，Stage之间才Shuffle落盘，Stage之内，都可以内存处理。 (4) spark 中的rdd数据可以缓存到内存中，充分使用内存，多次使用，减少IO。 进程和线程 (1) MR的任务调度和启动都是进程级别的，每个进
spark为什么比Mapreduce快
最新发布
06-10
Spark比MapReduce快的原因有以下几个方面： 1. 内存计算：Spark将数据存储在内存中进行计算，而MapReduce需要将数据存储在磁盘中进行计算，因此Spark的计算速度更快。 2. DAG调度：Spark通过DAG调度引擎将任务划分...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值