Spark SQL 笔记(2)——Spark 生态圈和 Hadoop 生态圈对比

1 Spark 产生的背景

1.1 MapReduce 的局限性

  • 代码繁琐
  • 只能够支持map 和 reduce 方法;
  • 执行效率低;
  • 不适合多次迭代、交互式、流式的处理;

1.2 框架多样化

  • 批处理(离线):MapReduce,Hive,Pig
  • 流式处理(实时):Storm,JStorm,
  • 交互式计算:Impala

1.3 Hadoop 生态系统

在这里插入图片描述

1.4 Spark 生态系统(BDAS)

BDAS : Berkeley Data Analytics Stack
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值