spark代码连接hive_本地spark连接hive相关问题总结

1、在win下去连接hive首先需要下载spark，下载地址：http://mirror.bit.edu.cn/apache/spark/spark-3.0.0-preview/spark-3.0.0-preview-bin-hadoop2.7.tgz

2、下载完成之后，去配置hadoop_home环境变量，在配置path，配置的路径就是你解压之后的spark文件的路径(不要问为什么下的是spark，却配置Hadoop路径，能搞出来就完事了。)

3、打开文件中的bin目录下，在cmd下执行spark-shell命令，随便执行一个命令，比如：spark.sql("show databases").show

会发现在文件目录的同级目录下产生一个tmp目录(一定要保证只有这一个磁盘中有tmp目录，否则会报错)。

4、打开文件中的bin目录下，在cmd下执行winutils.exe chmod 777 D:\tmp\hive(此目录是tmp目录)

改完这些，只要你代码写的没问题，基本上就可以了。

如出现以下报错：Error while running command to get file permissions : java.io.IOException: (null) entry in command string: null ls -F D:\tmp\hive

手动修改tmp目录权限，并且重启你的开发工具。

如出现无法查询的问题：修改

基本包括了连接中涉及的所有权限，找不到文件，无法查询等问题。如有错误，希望评论以及时改正。有其他疑问也可评论及时回复。