IDEA写hiveContext报错HiveSessionState

最新推荐文章于 2024-06-05 23:07:31 发布

xby_1997

最新推荐文章于 2024-06-05 23:07:31 发布

阅读量600

点赞数 1

分类专栏：大数据

本文链接：https://blog.csdn.net/xby_1997/article/details/89598823

版权

在使用IDEA开发过程中，遇到运行HiveContext时抛出IllegalArgumentException，错误涉及SparkSession的初始化失败。异常堆栈显示问题出在创建HiveSessionState时，具体为NullPointer异常。问题可能源于Hadoop配置、Hive元数据目录权限或者环境变量设置不正确。解决方法包括检查HDFS配置、确保Hive元数据目录存在且可写，以及确认相关环境变量已设置。请尝试排查这些方面并修复问题。

摘要由CSDN通过智能技术生成

错误：
Exception in thread “main” java.lang.IllegalArgumentException: Error while instantiating ‘org.apache.spark.sql.hive.HiveSessionState’:
at org.apache.spark.sql.SparkSession $. o r g$ apache $s p a r k$ sql $S p a r k S e s s i o n$ $r e f l e c t (S p a r k S e s s i o n . s c a l a : 981) a t o r g . a p a c h e . s p a r k . s q l . S p a r k S e s s i o n . s e s s i o n S t a t e$ lzycompute(SparkSession.scala:110)
at org.apache.spark.sql.SparkSession.sessionState(SparkSession.scala:109)
at org.apache.spark.sql.SparkSession.table(SparkSession.scala:574)
at org.apache.spark.sql.SQLContext.table(SQLContext.scala:708)
at com.imooc.spark.HiveContextApp $. m a i n (H i v e C o n t e x t A p p . s c a l a : 18) a t c o m . i m o o c . s p a r k . H i v e C o n t e x t A p p . m a i n (H i v e C o n t e x t A p p . s c a l a) C a u s e d b y : j a v a . l a n g . r e f l e c t . I n v o c a t i o n T a r g e t E x c e p t i o n a t s u n . r e f l e c t . N a t i$