【Spark三十九】Spark比Hadoop速度快的原因总结

最新推荐文章于 2023-08-19 17:17:07 发布
最新推荐文章于 2023-08-19 17:17:07 发布
阅读量1.7k 收藏 2
点赞数
分类专栏： Spark 文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/axxbc123/article/details/84699870
版权

Spark的速度比Hadoop快将近100倍，原因都有哪些，本文进行归纳总结

 

  • Spark计算速度远胜于Hadoop的原因之一就在于中间结果是缓存在内存而不是直接写入到disk，见http://www.cnblogs.com/hseagle/p/3673138.html
  • Broadcast机制
  • Cache
  • Checkpoint
  • Spark的计算模型

 

 

Hadoop每次计算先写磁盘，下次计算先从磁盘读，计算结果再写磁盘，如此往复。这对于迭代计算，是个噩梦
  • -----Spark为每个应用程序在worker上开启一个进程，而一个Job中的Task会在同一个线程池中运行，而Hadoop Map Reduce的计算模型是每个Task(Mapper或者Reducer）都是一个单独的进程，启动停止进程非常expensive，同时，进程间的数据共享也不能基于内存，只能是HDFS。
  • Spark任务调度模型
    • -----一级调度DAGScheduler
    • -----二级调度TaskScheduler

 

  • 容错性
  • Shuffle方面的性能提升？
axxbc123
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark-3.3.3-bin-hadoop3.tgz
10-19
总结来说，Spark 3.3.3与Hadoop 3.x的结合提供了强大的大数据处理平台，涵盖了数据处理、实时流处理、机器学习和存储管理等多个方面。这个版本的优化和新特性使得开发者能够更高效地处理大规模数据，同时享受到...
【Spark系列】：Spark为什么比Hadoop快
hxcaifly的博客
01-01 5106
1.前言 大数据工程师都喜欢拿Spark和Hadoop进行对比。一般的理解就是：Spark是基于内存的计算，而Hadoop是基于磁盘的计算；Spark是一种内存计算技术。 果真如此吗？事实上，不光Spark是内存计算，Hadoop其实也是内存计算。Spark和Hadoop的根本差异是多个任务之间的数据通信问题：Spark多个任务之间数据通信是基于内存，而Hadoop是基于磁盘。 Spark SQL...
spark为什么比hadoop快
rover
02-04 1317
Spark比Hadoop快的主要原因有： 1.消除了冗余的HDFS读写 Hadoop每次shuffle操作后，必须写到磁盘，而Spark在shuffle后不一定落盘，可以cache到内存中，以便迭代时使用。如果操作复杂，很多的shufle操作，那么Hadoop的读写IO时间会大大增加。 2.消除了冗余的MapReduce阶段 Hadoop的shuffle操作一定连着完整的MapReduce操作...
【Spark】 Spark为啥更高效？
Nina的博客
08-30 401
一 Spark为啥比Hadoop MapReduce有更快的执行速度？ 1）RDD的编程模型更简单。 MapReduce编程模型是面向过程编程，RDD编程模型是面向对象（RDD）编程。 2）DAG切分的多阶段计算过程更快速。 MapReduce简单粗暴的根据shuffle将大数据计算分成Map和Reduce两个阶段。 Spark会更细腻一点，将前一个Reduce和后一个Map连接起来，当做一个阶段持续计算，形成一个更加优雅、高效的计算模型。这种多个计算阶段依赖的方案可以有效减少对HDFS的访问，减少作业的调
Hadoop和Spark区别，为什么Spark比Hadoop处理速度快？
aijiudu的博客
04-20 1741
h s 原理 （并行计算 MR原理） Hadoop作业称为Job，Job分为Map、Shuffle和Reduce阶段，MAP和Reduce的Task都基于JVM进程运行的。MAP阶段：从HDFS读取数据，split文件产生task，通过对应数量的map处理，map输出的每一个键值对通过key的hash值计算一个partition，数据通过环形缓冲区，sort、spill、merge生成data和...
Spark 为什么比 MapReduce 快100倍？
qq_31412425的博客
08-19 393
通常我们认为 Spark 引擎是基于内存进行计算，无论如何，速度都是比 MapReduce 快，因为 MapReduce 需要频繁 Shuffle。在 Spark 的官网早期介绍中，也有过一张 Spark 比 Hadoop 计算速度快100倍的宣传，虽然它似乎违反了我们的广告法。本文不讨论技术源码，从内存计算、数据共享、任务调度优化多种角度，总结 Spark 快的真因。
Spark为什么比MR快
日句灬的博客
08-02 2417
1、spark是基于内存进行数据处理的，MapReduce是基于磁盘进行数据处理的 ​ MapReduce的设计：中间结果保存在文件中，提高了可靠性，减少了内存占用。但是牺牲了性能。 ​ Spark的设计：基于内存，迭代计算的中间结果不落盘直接在内存中传递。只有shuffle时或中间结果内存存不下才落盘。而MR的中间结果肯定会落盘。比如运行pageRank或者机器学习的算法，有可能要迭代几百次。 2、spark中具有DAG有向无环图，DAG有向无环图在此过程中减少了shuffle以及落地磁盘的次数 ​
spark-3.1.3-bin-without-hadoop.tgz
05-20
在大数据处理中，Spark的主要优势在于其内存计算能力，相比于Hadoop MapReduce的磁盘I/O，Spark可以显著提升数据处理速度。Spark SQL提供了一种SQL接口来操作数据，使得开发人员能够利用熟悉的SQL语法进行数据分析，...
spark-3.1.3-bin-hadoop3.2.tgz
05-19
在这个特定的压缩包"spark-3.1.3-bin-hadoop3.2.tgz"中，我们得到了Spark的3.1.3版本，它已经预编译为与Hadoop 3.2兼容。这个版本的Spark不仅提供了源码，还包含了预编译的二进制文件，使得在Linux环境下快速部署和...
spark-2.4.7-bin-hadoop2.7.tgz
03-19
- Spark的内存计算模型允许数据在内存中快速处理，避免了传统Hadoop MapReduce的磁盘I/O开销，显著提升了计算速度。 - **Tungsten**：Spark的底层执行引擎，采用代码生成技术提高性能，减少了Java反射的开销。 - ...
spark-3.2.1-bin-hadoop2.7.tgz
02-20
总结一下，"spark-3.2.1-bin-hadoop2.7.tgz"是一个专为Linux设计的Spark版本，与Hadoop 2.7兼容，提供了高效的大数据处理能力，涵盖了核心计算、SQL查询、流处理、机器学习和图计算等多个方面。在实际应用中，开发者...
为什么说Spark比Hadoop快
weixin_43907316的博客
04-19 726
当被问到为什么Spark比Hadoop快时候，得到的答案往往是：Spark是基于内存的计算，而Hadoop是基于磁盘的计算；Spark是一种内存计算技术。 事实上，不光Spark是内存计算，Hadoop其实也是内存计算。Spark和Hadoop的根本差异是多个任务之间的数据通信问题：Spark多个任务之间数据通信是基于内存，而Hadoop是基于磁盘。 1、Spark vs MapReduce ≠ 内存 vs 磁盘 其实Spark和MapReduce的计算都发生在内存中，区别在于：MapReduce通常需要将
Spark处理数据比Hive快的原因
Rnan_prince的博客
01-17 1719
Spark SQL比Hadoop Hive快，是有一定条件的，而且不是Spark SQL的引擎比Hive的引擎快，相反，Hive的HQL引擎还比Spark SQL的引擎更快。 其实，关键还是在于Spark 本身快。那么Spark为什么快呢？ 消除了冗余的HDFS读写 Hadoop每次shuffle操作后，必须写到磁盘，而Spark在shuffle后不一定落盘，可以cache到内存中，以便迭代时使用。如果操作复杂，很多的shufle操作，那么Hadoop的读写IO时间会大大增加。、 消除了冗
Spark 为什么比 Hadoop 快（六）
徐小慧_Blog的博客
09-14 983
Spark 基于 Hadoop MapReduce 算法实现的分布式计算，拥有 Hadoop MapReduce 所具有的优点，并且具有更高的运算速度。Spark 能够比 Hadoop 运算更快，主要原因是：Hadoop 在一次 MapReduce 运算之后，会将数据的运算结果从内存写入到磁盘中，第二次 MapReduce 运算时在从磁盘中读取数据，两次对磁盘的操作，增加了多余的 IO 消耗；而 Spark 则是将数据一直缓存在内存中，运算时直接从内存读取数据，只有在必要时，才将部分数据写入到磁盘中。除此之
Spark为什么快？
lmalds的专栏
04-19 8738
Spark SQL比Hadoop Hive快，是有一定条件的，而且不是Spark SQL的引擎比Hive的引擎快，相反，Hive的HQL引擎还比Spark SQL的引擎更快。 其实，关键还是在于Spark 本身快。 Spark为什么快？ 1、消除了冗余的HDFS读写 Hadoop每次shuffle操作后，必须写到磁盘，而Spark在shuffle后不一定落盘，可以cache
Spark为啥比hadoop速度快？
snail_gesture的博客
11-02 7302
1.统一的RDD抽象和操作，基于该抽象一个栈就可以轻松的处理实时流计算，SQL交互式查询，机器学习和图计算等。 基于统一的技术堆栈，使得Spark称为大数据通用计算平台。 2.基于内存的迭代式计算 回顾下hadoop中经典处理过程： MapReduce在每次执行时都要从磁盘读取数据，计算完毕后都要把数据存放到磁盘上。 比如：机器学习的时候
spark为什么速度快？
东城庞太师
05-30 2020
spark为什么速度快？ spark是将数据缓存到内存中，Spark计算的时候可以从内存中获取数据 缓存方式：persist、cache cache调用的是persist的默认方法，默认存储级别是内存 persist默认内存中存放
45倍加速Spark的处理效率？！
cpongo5
04-12 295
Spark代表着下一代大数据处理技术，并且，借着开源算法和计算节点集群分布式处理，Spark和Hadoop在执行的方式和速度已经远远的超过传统单节点的技术架构。但Spark利用内存进行数据处理，这让Spark的处理速度超过基于磁盘的Hadoop 100x 倍。\但Spark和内存数据库Redis结合后可显著的提高Spark运行任务的性能，这源于Redis优秀的数据结构和执行过程，从而减小数据处理的...
spark比Hadoop计算速度快
最新发布
06-07
Spark和Hadoop都是大数据处理框架，但Spark以其更快的处理速度和内存计算能力而闻名。以下是Spark相比Hadoop的一些优势： 1. **内存计算**：Spark在内存中缓存数据，减少了磁盘I/O，使得迭代操作（如机器学习中的迭代算法）的速度大大提高。相比之下，Hadoop MapReduce通常需要多次读取硬盘。 2. **实时处理**：Spark支持流处理（Spark Streaming）和交互式查询（Spark SQL），能实时分析数据，而Hadoop主要针对批处理任务。 3. **更短的迭代周期**：Spark提供了一个叫做“DAG”（有向无环图）的数据处理模型，允许并发执行，这意味着它可以更快地完成一个计算循环。 4. **易用性**：Spark提供了Python、Scala、Java等丰富的API，使得开发更加高效，而且它的DataFrame API使得数据处理更加直观。 5. **复杂度和可扩展性**：虽然Hadoop的架构在一定程度上保证了容错性，但在复杂的并行任务和小批量数据处理上，Spark的性能更好。 然而，这并不意味着Hadoop就没有其优点，Hadoop适合大规模离线批处理任务，对于稳定性、成本效益和持久化存储需求高的场景，Hadoop仍然是首选。选择哪个框架取决于具体的业务需求和性能要求。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值