自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

OopsOutOfMemory盛利的博客

分布式计算||数据仓库||数据挖掘

  • 博客(11)
  • 收藏
  • 关注

原创 Spark SQL 源码分析系列文章

Spark SQL 源码分析系列文章,从整个SQL执行流程到各个环节的关键组件,以及Catalyst框架的讲解。

2014-07-29 09:46:46 35253 1

原创 Spark SQL 源码分析之Physical Plan 到 RDD的具体实现

Spark SQL 物理计划到 RDD 的计算过程实现。

2014-07-29 18:04:09 9366

原创 Spark SQL Catalyst源码分析之Physical Plan

Spark SQL之Catalyst的物理计划,讲解了物理计划的产生过程,以及涉及到的策略。

2014-07-28 18:42:33 11498

原创 Spark SQL Catalyst源码分析之Optimizer

Spark SQL 中Catalyst的核心优化器Optimizer源码剖析

2014-07-25 19:20:05 9062

原创 Spark SQL Catalyst源码分析之TreeNode Library

Spark SQL Catalyst的核心类库TreeNode详解,配有实例,图文并茂。

2014-07-24 16:05:36 9903 1

原创 Spark SQL Catalyst源码分析之Analyzer

本文详细介绍了Spark SQL的Catalyst里,Analyzer是如何Sql parser的解析的UnResolved逻辑计划,进行resolve的。

2014-07-22 00:24:01 10585

原创 Spark SQL Catalyst源码分析之SqlParser

本文以Catalyst源代码的角度解析Catalyst的解析器如何解析SQL的生成UnResolved LogicalPlan的。

2014-07-19 03:16:11 17777 9

原创 Spark SQL源码分析之核心流程

从源代码的角度来看一下Spark SQL的核心执行流程吧

2014-07-10 18:11:01 19837 7

原创 Spark SQL with Hive

Spark1.1发布后会支持Spark SQL CLI , Spark SQL的CLI会要求被连接到一个Hive Thrift Server上,来实现类似hive shell的功能。

2014-07-09 22:29:46 15747

原创 Spark SQL 初探

早在Spark Submit 2013里就有介绍到Spark SQL,不过更多的是介绍Catalyst查询优化框架。经过一年的开发,在今年Spark Submit 2014上,Databricks宣布放弃Shark 的开发,而转投Spark SQL,理由是Shark继承了Hive太多,优化出现了瓶颈,如图:        今天把Spark最新的代码签了下来,测试了一下:1、编译Spar

2014-07-02 19:13:20 9308

原创 Spark操作hbase

在Spark是一种计算框架,在Spark环境下,不仅支持操作单机文件,HDFS文件,同时也可以用Spark对Hbase操作。 企业中数据源会从HBase取出,这就涉及到了读取hbase数据,本文为了尽可能的让大家能尽快实践和操作Hbase,使用的是Spark Shell 来进行Hbase操作。一、环境:Haoop2.2.0Hbase版本0.96.2-hadoop2, r158109

2014-07-01 01:28:21 20138 9

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除