关闭

Spark SQL 源码分析之Physical Plan 到 RDD的具体实现

Spark SQL 物理计划到 RDD 的计算过程实现。...
阅读(5975) 评论(0)

[置顶] Spark SQL 源码分析系列文章

Spark SQL 源码分析系列文章,从整个SQL执行流程到各个环节的关键组件,以及Catalyst框架的讲解。...
阅读(19819) 评论(1)

Spark SQL Catalyst源码分析之Physical Plan

Spark SQL之Catalyst的物理计划,讲解了物理计划的产生过程,以及涉及到的策略。...
阅读(7190) 评论(0)

Spark SQL Catalyst源码分析之Optimizer

Spark SQL 中Catalyst的核心优化器Optimizer源码剖析...
阅读(5812) 评论(0)

Spark SQL Catalyst源码分析之TreeNode Library

Spark SQL Catalyst的核心类库TreeNode详解,配有实例,图文并茂。...
阅读(6060) 评论(1)

Spark SQL Catalyst源码分析之Analyzer

本文详细介绍了Spark SQL的Catalyst里,Analyzer是如何Sql parser的解析的UnResolved逻辑计划,进行resolve的。...
阅读(6932) 评论(0)

Spark SQL Catalyst源码分析之SqlParser

本文以Catalyst源代码的角度解析Catalyst的解析器如何解析SQL的生成UnResolved LogicalPlan的。...
阅读(10542) 评论(7)

Spark SQL源码分析之核心流程

从源代码的角度来看一下Spark SQL的核心执行流程吧...
阅读(12283) 评论(5)

Spark SQL with Hive

Spark1.1发布后会支持Spark SQL CLI , Spark SQL的CLI会要求被连接到一个Hive Thrift Server上,来实现类似hive shell的功能。...
阅读(12893) 评论(0)

Spark SQL 初探

早在Spark Submit 2013里就有介绍到Spark SQL,不过更多的是介绍Catalyst查询优化框架。经过一年的开发,在今年Spark Submit 2014上,Databricks宣布放弃Shark 的开发,而转投Spark SQL,理由是Shark继承了Hive太多,优化出现了瓶颈,如图:          今天把Spark最新的代码签了下来,测试了一下: 1、编译Spar...
阅读(6706) 评论(0)

Spark操作hbase

在Spark是一种计算框架,在Spark环境下,不仅支持操作单机文件,HDFS文件,同时也可以用Spark对Hbase操作。  企业中数据源会从HBase取出,这就涉及到了读取hbase数据,本文为了尽可能的让大家能尽快实践和操作Hbase,使用的是Spark Shell 来进行Hbase操作。 一、环境: Haoop2.2.0 Hbase版本0.96.2-hadoop2, r158109...
阅读(16807) 评论(9)
    个人资料
    • 访问:496720次
    • 积分:5379
    • 等级:
    • 排名:第5341名
    • 原创:80篇
    • 转载:0篇
    • 译文:1篇
    • 评论:67条
    博客专栏
    微博
    文章分类
    最新评论