centos7配置hive与spark-sql交互

1.配置hive-site.xml文件

原来的值

将<name>hive.metastore.schema.verification</name>的值改为false
<value>false</value>

2. hive中的hive-site.xml文件复制到spark/conf目录下

cp /opt/hive/conf/hive-site.xml /opt/spark/conf

3.将mysql驱动复制到spark/jars(lib)目录下

4.配置spark-env.sh文件

在末尾添加

export SPARK_CLASSPATH=/opt/spark/jars(lib)/mysql-connector-java-5.1.44-bin.jar

5. 修改spark/con/log4j.properties文件

将log4j.rootCategory=INFO, console中的INFO改为WARN

6. 启动hive的metastore服务

hive --service metastore &

7. 启动hive和spark-sql

8. hive与spark-sql数据库已经相互连接

Hive：

Spark-sql：