由于ambari中spark的安装其元数据依赖于hive,hive又依赖于tez,然而有些情况下没有安装hive的需求,因此需要切断spark的安装对于hive的依赖。本文以将spark元数据直接配置到postgresql为例,mysql同理。
具体步骤如下(本文所用的测试环境版本为ambari2.7.3、HDP3.0.1):
1.修改metainfo.xml,路径为/var/lib/ambari-server/resources/stacks/HDP/3.0/services/SPARK2,注释掉关于hive的配置。
2、修改spark2-defaults.xml,具体路径为/var/lib/ambari-server/resources/stacks/HDP/3.0/services/SPARK2/configuration,注释掉对于hive元数据的依赖。
3、/etc/spark2/conf中新建配置文件hive-site.xml
具体数据库信息改成自己的。
4.重启ambari-server,然后直接在ambari中安装spark即可。