IDEA编写程序:spark SQL连接 hive
报错:java.lang.NoClassDefFoundError: org/apache/tez/dag/api/SessionNotRunning
我的问题出现在:
方法一:
把hive-site.xml拷贝到idea的resources中后,hive-site.xml中的一个配置需要改:
简单来说,把 “hive.execution.engine” 的 value,从 tez 改成 mr
方法二:
创建 SparkSession 的时候,在 config 中配置参数 “hive.metastore.uris”,并 enableHiveSupport 即可
val spark = SparkSession.builder()
.appName(appName)
.config(“hive.metastore.uris”, “thrift://ip-10-10-242-40.ec2.internal:9083”)
.enableHiveSupport()
.getOrCreate()
我是用的方法一,成功解决了bug呀!!!!!!!!