spark处理速度为什么比MapReduce快?

速度快这个词对于任何架构需要针对应用场景来描述。
在这里插入图片描述
官网的这张图下边有一行字:Logistic regression in Hadoop and Spark

迭代场景下spark的处理速度大致是hadoop的100倍。

🅰️原因
那么快的原因主要有两点:

  1. 基于内存,spark中间结果不落盘(hadoop频繁落盘)
  2. 有DAG(有向无环图):来切分任务的执行先后顺序。

🅱️对比:
MR(mapreduce):

  • 在这里插入图片描述
    Spark:
  • 在这里插入图片描述
    可以看出MR中间频繁读写落盘,而spark则中间结果一直在内存中。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

CoreDao

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值