Spark进阶(二)

Spark Stream

将Stream数据分成小的时间片段,以类似batch批处理的方式来处理这一部分数据,兼容实时数据处理的逻辑和算法和兼容批量处理。

Spark MLlib

这里写图片描述

SparkSQL

1.MapReduce计算过程大量的磁盘落地消耗了大量的io,降低运行效率。此时shark应运而生,同期的还有Impala和Drill。

shark(在hive的基础上,把HQL翻译成Spark的RDD操作。实现基于内存的SQL查询)
运作:通过Hive的HQL解析,把HQL翻译成Spark的RDD操作,然后通过Hive的metadata获取数据库的表信息,shark获取HDFS上的数据和文件并放到Spark上运行。
修改了hive的内存管理,物理计划,执行三个模块:
shark使用Hive的API来实现query parsing和Logic Plan generation,最后的Physical Plan Generation阶段用Spark代替Hadoop的Map Reduce

这里写图片描述

2.Shark对于hive的太多依赖(如采用hive的语法解析器、查询优化器等等),制约了Spark的统一栈管理的原则,故有了SparkSQL的出现。

  • SparkSQL汲取了Shark的优点,如内存列存储,hive的兼容性等
  • 同时还兼容RDD、parquet文件、Json文件中获取数据
  • 性能方面,除了内存列存储,还引进了Cost Model对查询进行动态评估

3.Spark和Impala在并发性还有一定的差距

GraphX

1.Pregel
google继mapReduce之后提出的又一计算模型,主要用于图的计算。

2.GraphX
有Table和Graph的两种图,但只需要一种物理存储,Table视图将图看成顶点属性和边属性的组合。

3.GraphX与Pregel的关系

这里写图片描述

Tachyon(HDFS(磁盘)tachyon(cache))

主从架构
分布式内存文件系统,用于缓存常用数据(HDFS是存储海量数据)

这里写图片描述

通过Zookeeper做HA,可以部署多台Standby Master

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值