Windows 上IDEA Spark 支持Hive的方法

在Windows IDEA进行Spark开发的时候，只要enableHiveSupport()就会报错，网上找了很多文章均不能解决问题，折腾了半天终于解决了，做一个记录

 

一、需要集群中Hive的配置hive-site.xml和hdfs-site.xml放到工程的resource目录下

如果是cdh则hive的配置在/etc/hive/conf路径下，如下图：

IDEA resources目录如下：

二、必须解决Could not locate executable null\bin\winutils.exe in the Hadoop binaries错误，我之前没有管这个错误，因此运行时一直不行

解决方法见博客：https://blog.csdn.net/lingbo229/article/details/81382987

 

三、运行如下代码不报错，则表明成功

 def main(args: Array[String]): Unit = {
    val spark = SparkSession
      .builder()
      .enableHiveSupport()
      .appName("Spark Hive")
      .master("local[2]")
      .getOrCreate()

    spark.sql("show tables").show()

  }