SparkSQL
shark.zyq
work@alibaba
hangzhou
展开
-
SparkSQL 概述
Base on spark 1.5.1 overviewSQLContext默认解析器为"sql",用于解析sql语句。除了SQLContext之外,还有HiveContext,用了更加完善的解析器,默认解析器为spark.sql.dialect="hiveql"原创 2015-11-03 15:11:47 · 1324 阅读 · 1 评论 -
SparkSQL 相关API
一、SQLContext.scala中的接口说明大部分接口都是创建DataFrame1、构造:SQLContext的构造只需要一个SparkContext参数2、设置/获取 配置:setConf/getConf3、isCached/cacheTable/uncacheTable/clearCache:数据缓存相关,提高查询速度,需谨慎防止OOM原创 2015-11-03 20:51:14 · 2449 阅读 · 0 评论