使用ambari搭建spark连接外置hive

02月26日 使用ambari搭建spark连接外置hive.note目标

使用amabri 搭建hive 和spark后，hive建立外部表，使用sparksql连接hive元数据（mysql）。

步骤

1、先将安装好的spark conf目录下生成的hive-site.xml重命名备份（其实用不到）

[root@mycentos703 conf]# cd /usr/hdp/3.1.0.0-78/spark2/conf/

[root@mycentos703 conf]# mv hive-site.xml hive-site.xml.bak

2、将hive目录下的hive-site.xml拷贝过来，前提是hive可以正常工作，使用tez没有问题，元数据库一切配置完成。

[root@mycentos703 conf]# cp /usr/hdp/3.1.0.0-78/hive/conf/hive-site.xml ./

3、编辑spark/conf/hive-site.xml，查找所有tez相关配置并删除。

4、修改spark配置并重启spark服务，将默认的连接spark内置hive元数据指定为hive

从spark改成hive

运行测试

1、启动spark-shell

[root@mycentos703 conf]# spark-shell

2、查看是否连接外部hive元数据

连接成功！

注：

1、spark-shell正确退出为

:quit

否则再次启动spark-shell会有如下警告：

2、解决

lsof -i:4040

lsof -i:4041

依次查看 直接kill -9  进程ID

最后在启动spark-shell 问题解决了