Spark和MapReduce的比较(包含磁盘内存,算子,粗粒度资源申请和细粒度资源申请)【文字说明原理+图片】

Spark是开源的通用的计算框架,目的是为了使数据分析更快。MR也是计算框架。
        区别?
            1).MR是基于磁盘迭代,Spark是基于内存迭代。
            2).Spark中有DAG有向无环图。
            3).MR中只有map,reduce两个类,相当于Spark中两个算子。Spark中有三类算子(转换算子,行动算子,持久化算子)。
            4).MR是细粒度资源申请,Spark是粗粒度资源申请

Spark的粗粒度资源申请

Application执行完之前,首先将所有的资源申请完毕之后再执行,再运行,task执行时就不需要自己去申请资源,task相对较快,Application执行就快,当最后一个task执行完毕之后,所有的资源才会被释放

优点:

Application执行快

缺点:

容易造成集群资源不能充分利用

Spark是粗粒度资源申请

Spark中提供了一系列方便的算子

MR中只有map,reduce算子,其他需要自己去实现

Mapreduce的细粒度资源申请

  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值