Spark2.4+Hive使用现有Hive仓库中的数据

使用前准备

• hive-site.xml复制到$SPARK_HOME/conf目录下
• hive连接mysql的jar包(mysql-connector-java-8.0.13.jar)也要复制到$SPARK_HOME/jars目录下
  • 或者在spark-submit脚本中通过–jars指明该jar包位置
  • 或者在spark-env.xml中把该jar包位置加入Class Path export SPARK_CLASSPATH=$SPARK_CLASSPATH:/jar包位置

    我测试不起作用

spark.sql.warehouse.dir参数

入门文档讲解spark sql如何作用在hive上时，提到了下面这个例子，其次有个配置spark.sql.warehouse.dir

val spark = SparkSession
  .builder()
  .appName("Spark Hive Example")
  .config("spark.sql.warehouse.dir", warehouseLocation)
  .enableHiveSupport()
  .getOrCreate()

该参数指明的是hive数据仓库位置

spark 1.x 版本使用的参数是"hive.metastore.warehouse" ，在spark 2.0.0