Spark-SQL和Hive on Spark, SqlContext和HiveContext

Hive on Spark和Spark SQL是不同的东西

Hive on Spark: 是除了DataBricks之外的其他几个公司搞的,想让Hive跑在Spark上;
Spark SQL: Shark的后继产品, 解除了不少Hive的依赖,且让SQL更加抽象通用化, 支持json,parquet等格式;

关于Catelog和Schema

Catelog是目录的意思,从数据库方向说,相当于就是所有数据库的集合;

Schema是模式的意思, 从数据库方向说, 类似Catelog下的某一个数据库;

SqlContext和HiveContext

SqlContext: 应该是对应spark-sql这个project; 与hive解耦,不支持hql查询;
HiveContext:应该是对应spark-hive这个项目; 与hive有部分耦合, 支持hql,是SqlContext的子类,也就是说兼容SqlContext;

hiveContext:
  catalog: HiveMetastoreCatalog; 使用了Hive的MetaStore;
  analyzer: 
  catalog; 上面的catalog;
functionRegistry; 用于自定义UDF;
  planner = hivePlanner: SparkPlanner & HiveStrategies; 

sqlContext:
  parser = new catalyst.SqlParser
  parseSql(sql: String): LogicalPlan = parser(sql)  //解析sql语句的入口; 调用的是上面的catalyst.SqlParser
 => 产生UnresolvedLogicalPlan;
  QueryExecution:
logical: LogicalPlan //上面的UnresolvedLogicalPlan;
analyzed = ExtractPythonUdfs(analyzer(logical)) //产生resolved LogicalPlan;
optimizedPlan = optimizer(analyzed) //产生optimized LogicalPlan
sparkPlan = planner(optimizedPlan).next() 
executedPlan: SparkPlan = prepareForExecution(sparkPlan) /产生可执行的物理计划;
toRdd: RDD[Row] = executedPlan.execute(); //执行可执行物理计划;

一个开发例子

准备数据  

1 test.txt的内容:

 zhangyali yes
 cuiyang

2 hive中执行:

 LOAD DATA LOCAL INPATH '/Users/cuiyang_mt/test.txt' OVERWRITE INTO TABLE ewaplog;

3 hive中查询:

 select * from ewaplog where value in ('yes', null);
 只会出现第1条,也就是说, null与 in的比较,结果是false;

在spark shell中查询

 sqlContext.sql("select * from ewaplog where value in ('yes', null)").collect().foreach(println)

  会出现两条:
 [zhangyali,yes]
 [cuiyang,null]

  也就是说, spark hql和hive hql, 对于null的比较,返回的结果是不同的;

SqlContext可以将很多数据类型抽象为SQL查询对象

import org.apache.spark.rdd.RDD
val sqlc = new org.apache.spark.sql.SQLContext(sc)
import sqlc.implicits._
case class Person(name: String, age: Int)
val people = sc.textFile("examples/src/main/resources/people.txt").map(_.split(",")).map(p => Person(p(0), p(1).trim.toInt)).toDF()
people.registerTempTable("people")



  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值