使用前准备
- hive-site.xml复制到$SPARK_HOME/conf目录下
- hive连接mysql的jar包(mysql-connector-java-8.0.13.jar)也要复制到$SPARK_HOME/jars目录下
- 或者在spark-submit脚本中通过–jars指明该jar包位置
- 或者在spark-env.xml中把该jar包位置加入Class Path
export SPARK_CLASSPATH=$SPARK_CLASSPATH:/jar包位置
我测试不起作用
spark.sql.warehouse.dir参数
入门文档讲解spark sql如何作用在hive上时,提到了下面这个例子,其次有个配置spark.sql.warehouse.dir
val spark = SparkSession
.builder()
.appName("Spark Hive Example")
.config("spark.sql.warehouse.dir", warehouseLocation)
.enableHiveSupport()
.getOrCreate()
该参数指明的是hive数据仓库位置
spark 1.x 版本使用的参数是"hive.metastore.warehouse" ,在spark 2.0.0