![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
VI7
这个作者很懒,什么都没留下…
展开
-
SparkSql
1. Spark基于Spark计算框架之上且兼容Hive语法的SQL执行引擎 底层的计算采用了Spark,性能比MapReduce的Hive普遍快2倍以上 Shark是完全兼容Hive的语法,表结构以及UDF函数等 Shark底层依赖于Hive的解析器,查询优化器 -- 对Hive依赖太强,难以长远发展2. SparkSql2.2 SparkSQL介绍 SparkS...原创 2019-04-19 08:33:13 · 222 阅读 · 0 评论 -
Spark Streaming
1.SparkStreaming简介SparkStreaming是流式处理框架,是Spark API的扩展,支持可扩展、高吞吐量、容错的准实时数据流处理,实时数据的来源可以是:Kafka, Flume, Twitter, ZeroMQ或者TCP sockets,并且可以使用高级功能的复杂算子来处理流数据。例如:map,reduce,join,window 。最终,处理后的数据可以存放在文件系统...原创 2019-04-20 09:11:51 · 207 阅读 · 0 评论