Spark集成Hive

1. 复制core-site.xml(hdfs) + hdfs-site.xml(hdfs) + hive-site.xml(hive)三个文件
   到spark/conf下。

2. 复制mysql驱动程序到/spark/jars下

3. 测试：

   #启动spark-shell
   spark-shell
   
   #测试
   spark.sql("show databases").show();
   

4. 附加：

如果要在idea中使用spark操作hive，需要将

#复制配置文件到resources目录下
core-site.xml
hdfs-site.xml
hive-site.xml

如果spark集成hive：
在spark中执行hive的查询语句，会出现版本不一致的错误：
解决办法1：
在hvie-site.xml中关闭版本验证（本人使用的）

<property>
    <name>hive.metastore.schema.verification</name>
    <value>false</value>
</property>

解决办法2：

    <property>
		<name>hive.metastore.uris</name>
		<value>thrift://master:9083</value>
		<description>None</description>
	</property>

欢迎关注我的动态

欢迎关注我的个人博客网站www.liuzhaopo.top