spark SQL连接接hive原理及源码学习

由于项目需要挂载hive,因此学习阅读了部分spark SQL连接hive的源码,特此总结

spark SQL连接hive方式

1. spark SQL连接hive相关参数和类

    spark SQL连接hive的相关demo如下(代码位于spark源码SparkHiveExample类):

val spark = SparkSession
      .builder().master("local[*]")
      .appName("Spark Hive Example")
      .config("spark.sql.warehouse.dir", warehouseLocation)
      .enableHiveSupport()
      .getOrCreate()

sql("CREATE TABLE IF NOT EXISTS src (key INT, value STRING) USING hive")
sql("LOAD DATA LOCAL INPATH 'examples/src/main/resources/kv1.txt' INTO TABLE src")

// Queries are expressed in HiveQL
sql("SELECT * FROM src").show()

自spark2.0开始,sparksql统一hivecontext与sqlcontext为sparksession,连接hive时,通过enableHiveSupport()开启对hive的支持。sparkSession通过参数:
spark.sql.catalogImplementation来加载或者创建不同的SessionStateSessionState作为spark SQL的核心类,总共分为以下两种:
(default) SessionStateBuilder for in-memory catalog

HiveSessionStateBuilder for hive catalog

spark sql SessionState.png

 当调用enableHiveSupport()时,便会构建hiveSessionStateBuilder对象,该类中主要重载了3个对象:Catalog,Analyzer和SparkPlanner。

2. spark SQL相关规则和策略

。。。。
        

  • 2
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值