HDP3,spark2.3.2配置外置hive
spark中有内置的hive,如果要使用外置的hive就需要进行配置:
-
将/hive/conf中将hive-site.xml拷贝到spark conf/目录下。
-
将mysql驱动拷贝到spark jar/目录下
-
将hdfs下的core-site.xml和hdfs-site.xml拷贝到spark conf/目录下
-
修改配置:
登录 Ambari 界面,到 Spark 组件修改配置。 1)Advanced spark2-defaults 的 spark.sql.warehouse.dir 值/apps/spark/warehouse 改为 /warehouse/tablespace/managed/hive
2)Advanced spark2-hive-site-override 的 metastore.catalog.default 值 spark 改为 hive
3)到 hive 组件修改配置。hive.strict.managed.tables 的 true 改为 false (有两个 hive.strict.managed.tables,都需要修改)