Spark和MapReduce的区别

已于 2023-02-17 09:22:00 修改
阅读量170 收藏
点赞数
分类专栏： 大数据 文章标签： spark mapreduce 大数据
于 2023-02-17 09:18:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sijiwang95/article/details/129078333
版权
Spark通过内存计算提供更快的速度，支持海量数据处理并允许创建库表，当内存不足时数据会转存到磁盘。相比之下，MR的中间结果存储在磁盘，计算任务由进程完成，速度相对较慢。Presto虽也基于内存计算，但不适合大规模数据处理且不支持库表创建。
摘要由CSDN通过智能技术生成

  • spark是基于内存计算，会将中间结过存放在内存，方便后续计算的使用。MR会将中间结果存储在磁盘上。

    • 内存数据的读写速度要比磁盘快的多，所以spark的计算速度要比MR快

    • Presto也是基于内存计算的，Presto不适合海量数据处理，而且不能创建库表。Spark对海量数据在内存上的计算做了优化，内存不足是会将结果存在磁盘上，适合海量数据处理，并且可以进行库表创建

  • Spark的计算任务是由线程完成的。MR的计算任务是由进程完成的

    • 线程切换计算任务的速度比进程切换计算任务速度快

javaisGod_s
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark的简单介绍（与MapReduce对比）
bjtucheryl的博客
02-10 2152
1.spark计算 引擎： 1.快速 DAG（有向无环图） Memory 2.通用 spark sparkSQL、SparkStreaming等相当于在spark平台上的 jar包 需要时直接以Jar包的方式导入2运行模式. Hadoop、Mesos、standlone。 可以处理任意类型的hadoop数据源 如hbase、hive等3.MapReduce与Spark
03_MapReduce 和Spark on YARN.docx
02-24
在大数据处理领域，Hadoop MapReduce 和 Apache Spark 是两种重要的计算框架，它们都在YARN（Yet Another Resource Negotiator）上运行以实现资源管理和任务调度。本文将深入探讨这两个框架以及YARN的相关概念。 ...
mapreduce采用多进程与spark采用多线程比较
学在途中
06-01 4533
转自：Mapreduce多进程与spark多线程 Apache Spark的高性能一定程度上取决于它采用的异步并发模型（这里指server/driver 端采用的模型），这与Hadoop 2.0（包括YARN和MapReduce）是一致的。Hadoop 2.0自己实现了类似Actor的异步并发模型，实现方式是epoll+状态机，而Apache Spark则直接采用了开源软件Akka，该软
Spark与MapReduce的区别
sanqima的专栏
04-20 1万+
Spark中最核心的概念是RDD(弹性分布式数据集)，近年来，随着数据量的不断增长，分布式集群并行计算(如MapReduce、Dryad等)被广泛运用于处理日益增长的数据。这些设计优秀的计算模型大都具有容错性好、可扩展性强、负载平衡、编程方法简单等优点，从而使得它们受到众多企业的青睐，被大多数用户用来进行大规模数据的处理。 　　但是，MapReduce这些并行计算大都是基于非循环的数据流模型，也
Spark与MapReduce的区别是什么？
热门推荐
delet丶
05-31 2万+
Spark和MapReduce都是可以处理海量数据，但是在处理方式和处理速度上存在着差异，总结如下： 1.spark处理数据是基于内存的，而MapReduce是基于磁盘处理数据的。 MapReduce是将中间结果保存到磁盘中，减少了内存占用，牺牲了计算性能。 Spark是将计算的中间结果保存到内存中，可以反复利用，提高了处理数据的性能。 2.Spark在处理数据时构建了DAG有向无环图，减少了shuffle和数据落地磁盘的次数 Spark 计算比 MapReduce 快的根本原因在...
spark和mapreduce的区别
luo981695830的博客
04-20 1283
　　spark是通过借鉴Hadoop mapreduce发展而来，继承了其分布式并行计算的优点，并改进了mapreduce明显的缺陷，具体表现在以下几方面： 　　1.spark把中间计算结果存放在内存中，减少迭代过程中的数据落地，能够实现数据高效共享，迭代运算效率高。mapreduce中的计算中间结果是保存在磁盘上的，这样必然影响整体运行速度。 　　2.spark容错性高。spark支持D...
如何将MapReduce转化为Spark
01-30
本文首先对MapReduce和Spark的基本信息做了对比性介绍，接着分别对 MapReduce和Spark进行基础性知识讲解，然后在单台Linux服务器上安装了Spark，并以实际代码演示了从 MapReduce转换代码到Spark时需要注意的事项。...
为什么spark比mapreduce处理数据快
01-07
mapreduce任务每一次处理完成之后所产生的结果数据只能够保存在磁盘，后续有其他的job需要依赖于前面job的输出结果，这里就只能够进行大量的io操作获取得到，性能就比较低。 spark任务每一次处理的完成之后所产生的...
MapReduce与Spark异同点和优势比较
05-27
MapReduce和Spark是两种在大数据处理领域广泛应用的计算框架，它们各自有其独特的优势和应用场景。本文将深入探讨这两种技术的异同点以及各自的优点。 首先，MapReduce是由Google提出的一种分布式计算模型，主要...
Spark与MapReduce的对比(区别)
Zero小猿的博客
09-30 2799
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 从以下几个方面来对比下spark与MapReduce一、架构二、速度三、容错四、功能 一、架构 Spark采用的是经典的scheduler/workers模式， 每个Spark应用程序运行的第一步是构建一个可重用的资源池，然后在这个资源池里运行所有的ShuffleMapTask和ReduceTask MapReduce采用了多进程模型，而Spark采用了多线程模型。多进程模型便于细粒度控制每个任务占用的资源，但会消耗较多的启动时间，不适合
Spark 和 MapReduce的区别
weixin_39910711的博客
04-21 5165
目录 1MapReduce 2Spark 3 对比 3.1 性能 3.2 使用难度 3.3 成本 3.4 兼容性 3.5 数据处理 3.6 容错 3.7 安全性 3.8 处理速度 3.9 总结 4 相关概念 4.1 HDFS 4.2 MapReduce 4.3 YARN 4.4 SparkStreaming 4.5 SparkSQL 4.6 Hive 4...
Spark 和 MapReduce 的对比
最新发布
five小点心的博客
06-20 4594
容错性是指系统在面对故障、错误或者异常情况时能够保持正常运行，并能够从故障中恢复或继续进行操作的能力。数据在处理中，由于数据规模庞大、且分布在多个计算节点上，节点故障可能导致任务中断或数据丢失。
spark与mapreduce的区别
Arthas1820的博客
08-24 158
　　spark是通过借鉴Hadoop mapreduce发展而来，继承了其分布式并行计算的优点，并改进了mapreduce明显的缺陷，具体表现在以下几方面： 　　1.spark把中间计算结果存放在内存中，减少迭代过程中的数据落地，能够实现数据高效共享，迭代运算效率高。mapreduce中的计算中间结果是保存在磁盘上的，这样必然影响整体运行速度。 　　 2.spark容错性高。spa...
Spark 简单介绍 基本概念 和MapReduce的区别
是个好男人的博客
04-10 1182
1.概述 Spark是一种快速而通用的集群计算的平台，Spark 的一个主要特点就是能够在内存中进行计算，因而更快。 2.特点 与Hadoop的MapReduce相比，Spark基于内存的运算要快100倍以上，基于硬盘的运算也要快10倍以上。Spark实现了高效的DAG执行引擎，可以通过基于内存来高效处理数据流。 Spark提供了统一的解决方案。Spark可以用于批处理、交互式查询（Spark SQL）、实时流处理（Spark Streaming）、机器学习（...
spark和Mapreduce的对比
weixin_45216482的博客
03-10 8828
1.spark和Mapreduce的简单介绍 MapReduce：MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（归约）"，是它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（归约）函数，用来保证所有映射的键值对中的每一个
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值