SparkSQL
Yannick_J
Yes-亚历山大的陀螺
展开
-
Spark 子模块 StructuredStreaming分析(及SparkSQL的演变)
一、前言1.相关版本:Spark Master branch(2018.11, compiled-version spark-3.0.0)2.画图工具(dia 0.97+git,http://live.gnome.org/Dia)二、SparkSQL 的发展历史依照https://mp.weixin.qq.com/s/AQ_kjnRBr0nob6WjbNwggg画了个图来总结...原创 2019-04-09 16:19:39 · 537 阅读 · 0 评论 -
Spark Streaming 对比 Structured Streaming(及其内部的两种模式 MicroBatch Streaming VS Continous Streaming)
一 前言最近在看 Structured Streaming,先出个简单对比图,Spark Streaming VS Structured Streaming 以及 Structured Streaming内部的两种模式 MicroBatch Streaming VS Continous Streaming。后期深入再做总结和补充。参考:《图解Spark核心技术与案例实战》二 Spa...原创 2018-12-21 17:57:37 · 1880 阅读 · 0 评论 -
浅析HiBench 的 3个 SQL测试用例 (Hive)及升级HiBench的Hive版本
一、前言分析HiBench 的 Hive测试用例 sql (包括scan/join/aggregation),版本 HiBench6.0Hadoop版本:v2.7.1Spark版本:v2.1二、需要解决的问题1. 跑 HiBench 的测试用例 sql 需要 手动安装Hive吗?不需要,HiBench 会自动下载 pom.xml文件里的Hive版本。2. HiBen...原创 2019-03-26 15:03:50 · 1894 阅读 · 1 评论 -
Spark 子模块 SparkSQL 的缓存管理分析
一、前言1.相关版本:Spark Master branch(2018.11, compiled-version spark-2.4.1)2. SparkSQL 的CacheManager 独立于SparkCore 的 CacheManager(SparkCore的缓存管理机制详见:https://blog.csdn.net/don_chiang709/article/details/84...原创 2019-03-26 15:01:47 · 900 阅读 · 0 评论