Hive on Spark和Spark SQL是不同的东西
Hive on Spark: 是除了DataBricks之外的其他几个公司搞的,想让Hive跑在Spark上;Spark SQL: Shark的后继产品, 解除了不少Hive的依赖,且让SQL更加抽象通用化, 支持json,parquet等格式;
关于Catelog和Schema
Catelog是目录的意思,从数据库方向说,相当于就是所有数据库的集合;
Schema是模式的意思, 从数据库方向说, 类似Catelog下的某一个数据库;
SqlContext和HiveContext
SqlContext: 应该是对应spark-sql这个project; 与hive解耦,不支持hql查询;HiveContext:应该是对应spark-hive这个项目; 与hive有部分耦合, 支持hql,是SqlContext的子类,也就是说兼容SqlContext;
hiveContext:
catalog: HiveMetastoreCatalog; 使用了Hive的MetaStore;
analyzer:
catalog; 上面的catalog;
functionRegistry; 用于自定义UDF;
planner = hivePlanner: SparkPlanner & HiveStrategies;
sqlContext:
parser = new catalyst.SqlParser
parseSql(sql: String): LogicalPlan = parser(sql) //解析sql语句的入口; 调用的是上面的catalyst.SqlParser
=> 产生UnresolvedLogicalPlan;
QueryExecution:
logical: LogicalPlan //上面的UnresolvedLogicalPlan;
analyzed = ExtractPythonUdfs(analyzer(logical)) //产生resolved LogicalPlan;
optimizedPlan = optimizer(analyzed) //产生optimized LogicalPlan
sparkPlan = planner(optimizedPlan).next()
executedPlan: SparkPlan = prepareForExecution(sparkPlan) /产生可执行的物理计划;
toRdd: RDD[Row] = executedPlan.execute(); //执行可执行物理计划;
一个开发例子
准备数据
1 test.txt的内容:
zhangyali yes
cuiyang
2 hive中执行:
LOAD DATA LOCAL INPATH '/Users/cuiyang_mt/test.txt' OVERWRITE INTO TABLE ewaplog;
3 hive中查询:
select * from ewaplog where value in ('yes', null);
只会出现第1条,也就是说, null与 in的比较,结果是false;
在spark shell中查询
sqlContext.sql("select * from ewaplog where value in ('yes', null)").collect().foreach(println)
会出现两条:
[zhangyali,yes]
[cuiyang,null]
也就是说, spark hql和hive hql, 对于null的比较,返回的结果是不同的;
SqlContext可以将很多数据类型抽象为SQL查询对象
import org.apache.spark.rdd.RDD
val sqlc = new org.apache.spark.sql.SQLContext(sc)
import sqlc.implicits._
case class Person(name: String, age: Int)
val people = sc.textFile("examples/src/main/resources/people.txt").map(_.split(",")).map(p => Person(p(0), p(1).trim.toInt)).toDF()
people.registerTempTable("people")