- 博客(11)
- 收藏
- 关注
RSS订阅
原创 Spark SQL 源码分析系列文章
Spark SQL 源码分析系列文章，从整个SQL执行流程到各个环节的关键组件，以及Catalyst框架的讲解。
2014-07-29 09:46:46
35253
1
原创 Spark SQL Catalyst源码分析之Physical Plan
Spark SQL之Catalyst的物理计划，讲解了物理计划的产生过程，以及涉及到的策略。
2014-07-28 18:42:33
11498
原创 Spark SQL Catalyst源码分析之TreeNode Library
Spark SQL Catalyst的核心类库TreeNode详解，配有实例，图文并茂。
2014-07-24 16:05:36
9904
1
原创 Spark SQL Catalyst源码分析之Analyzer
本文详细介绍了Spark SQL的Catalyst里，Analyzer是如何Sql parser的解析的UnResolved逻辑计划，进行resolve的。
2014-07-22 00:24:01
10586
原创 Spark SQL Catalyst源码分析之SqlParser
本文以Catalyst源代码的角度解析Catalyst的解析器如何解析SQL的生成UnResolved LogicalPlan的。
2014-07-19 03:16:11
17777
9
原创 Spark SQL with Hive
Spark1.1发布后会支持Spark SQL CLI ， Spark SQL的CLI会要求被连接到一个Hive Thrift Server上，来实现类似hive shell的功能。
2014-07-09 22:29:46
15748
原创 Spark SQL 初探
早在Spark Submit 2013里就有介绍到Spark SQL，不过更多的是介绍Catalyst查询优化框架。经过一年的开发，在今年Spark Submit 2014上，Databricks宣布放弃Shark 的开发，而转投Spark SQL，理由是Shark继承了Hive太多，优化出现了瓶颈，如图： 今天把Spark最新的代码签了下来，测试了一下：1、编译Spar
2014-07-02 19:13:20
9311
原创 Spark操作hbase
在Spark是一种计算框架，在Spark环境下，不仅支持操作单机文件，HDFS文件，同时也可以用Spark对Hbase操作。 企业中数据源会从HBase取出，这就涉及到了读取hbase数据，本文为了尽可能的让大家能尽快实践和操作Hbase，使用的是Spark Shell 来进行Hbase操作。一、环境：Haoop2.2.0Hbase版本0.96.2-hadoop2, r158109
2014-07-01 01:28:21
20138
9
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人