spark shell 启动出现：Error while instantiating 'org.apache.spark.sql.hive.HiveSessionState':

最新推荐文章于 2021-02-03 16:02:13 发布
最新推荐文章于 2021-02-03 16:02:13 发布
阅读量3.6k 收藏
点赞数
分类专栏： big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39597203/article/details/88600518
版权
Error while instantiating ‘org.apache.spark.sql.hive.HiveSessionState’:

解决方法:

sudo chmod -R 777 /tmp/hive/

大大、酥
关注
专栏目录
xml问题：Error while instantiating ‘org.apache.spark.sql.hive.HiveSessionState‘
君知君不知
07-16 542
Exception in thread "main" java.lang.IllegalArgumentException: Error while instantiating 'org.apache.spark.sql.hive.HiveSessionState': at org.apache.spark.sql.SparkSession$.org$apache$spark$sql$SparkSession$$reflect(SparkSession.scala:981) at org.apache.
Spark读取hive数据报Error while instantiating 'org.apache.spark.sql.hive.HiveSessionState
weixin_42963290的博客
04-11 4058
错误如下： Exception in thread "main" java.lang.reflect.InvocationTargetException at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(Nati...
运行spark报错Error while instantiating 'org.apache.spark.sql.hive.HiveSessionState'
slibra_L的博客
04-02 6681
问题描述 最近换了一台电脑，将原电脑的spark streaming代码考到了新电脑上，使用IDEA运行却报错了 Error while instantiating 'org.apache.spark.sql.hive.HiveSessionState' The root scratch dir: /tmp/hive on HDFS should be writable 经检查发现是/tmp/...
出错-运行spark-shell时报错：Error while instantiating 'org.apache.spark.sql.hive.HiveSessionState'
DraGon_HooRay的博客
01-27 1317
第一次运行spark-shell时报错 报错内容如下： [root@ducking spark-2.1.1]# spark-shell Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties Setting default log level to "WARN". To adjust logg...
Error while instantiating 'org.apache.spark.sql.hive.HiveSessionStateBuilder'
okakio的博客
04-15 3388
Exception in thread “main” java.lang.IllegalArgumentException: Error while instantiating ‘org.apache.spark.sql.hive.HiveSessionStateBuilder’: 代码如下: ==所以排除代码的问题 ==
Error while instantiating 'org.apache.spark.sql.hive.HiveExternalCatalog':
qq_40012203的博客
08-13 3715
使用spark-shell连接外部hive，出现下面错误： [diao@hadoop111 spark-2.1.1]$ bin/spark-shell 19/08/13 14:15:52 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java class...
Spark 2.2.0 启动时报Error while instantiating / java.net.ConnectException
热门推荐
再见孙悟空
07-25 1万+
我的机器： 已经安装好Hadoop Java Scala HiveMaster:192.168.244.129 Slave1.hadoop:192.168.244.128 Slave2.hadoop:192.168.244.130在之前的工作中比如：Hadoop Hive 等环境都已经配置正确在启动用一下命令启动Spark集群时无问题：./sbin/start-all.sh使用JPS查看:132
IDEA写hiveContext报错HiveSessionState
xby_1997的博客
04-27 599
错误： Exception in thread “main” java.lang.IllegalArgumentException: Error while instantiating ‘org.apache.spark.sql.hive.HiveSessionState’: at org.apache.spark.sql.SparkSession.org.org.orgapachesparksp...
linux安装pyspark_PySpark笔记(一)：Spark简介与安装
weixin_34469152的博客
01-27 795
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark拥有Hadoop MapReduce所具有的优点；但不同MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好 适用于数...
python 安装pyspark_PySpark笔记(一)：Spark简介与安装
weixin_42500631的博客
12-28 2211
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark拥有Hadoop MapReduce所具有的优点；但不同MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好 适用于数...
Spark简介与安装
tayhh的博客
11-25 182
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark拥有Hadoop MapReduce所具有的优点；但不同MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好 适用于数...
CDH6.0初始化pyspark Error while instantiating org.apache.spark.sql.hive.HiveSessionStateBuilder
Shyllin的博客
05-24 1611
CDH 集群中初始化pyspark 报错"Error while instantiating ‘org.apache.spark.sql.hive.HiveSessionStateBuilder’:"
IDEA通过SparkSql访问hive报错：Error while instantiating 'org.apache.spark.sql.hive.HiveSessionStateBuilder
zajbetterme的博客
03-25 6963
Exception in thread "main" java.lang.IllegalArgumentException: Error while instantiating 'org.apache.spark.sql.hive.HiveSessionStateBuilder': at org.apache.spark.sql.SparkSession$.org$apache$spark...
Spark-shell启动的时候报Error while instantiating ‘org.apache.spark.sql.hive.HiveSessionStateBuilder’错误
段渣渣推轮子的飙车场
04-04 8330
版权声明：未经允许，随意转载，请附上本文链接谢谢（づ￣3￣）づ╭❤～ https://blog.csdn.net/xiaoduan_/article/details/79815692 Spark-shell启动的时候报java.lang.IllegalArgumentException: Error while instantiating ‘org.apache.spark.sql.hive...
windows下安装spark报错 Error while instantiating ‘org.apache.spark.sql.hive.HiveSessionState‘
我俏丽吗的博客
07-30 1389
windows下安装sparkFailed to get database default, returning NoSuchObjectException java.lang.IllegalArgumentException: Error while instantiating 'org.apache.spark.sql.hive.HiveSessionState':新的改变功能快捷键合理的创建标题，有助于目录的生成windows 安装完spark执行spark-shell 报错如下:失败截图解决方法:再
IDEA SparkSQL连接外部hive报错Error while instantiating ‘org.apache.spark.sql.hive.HiveSessionState‘:
smallworldxyl的博客
02-03 2191
原图 Exception in thread "main" java.lang.IllegalArgumentException: Error while instantiating 'org.apache.spark.sql.hive.HiveSessionState': at org.apache.spark.sql.SparkSession$.org$apache$spark$sql$SparkSession$$reflect(SparkSession.scala:981) at org.apac
Error while instantiating 'org.apache.spark.sql.hive.HiveSessionState'
TheManOfCoding的博客
08-10 9784
我在windows下面用idea运行spark-sql程序的时候，报了上面的那个错误，我尝试了很多方法，都没有啥效果，后来我往下继续阅读错误，发现了这个实质性错误Exception in thread "main"java.lang.UnsatisfiedLinkError。 如果是报Error while instantiating 'org.apache.spark.sql.hive.Hiv...
notebook 运行 pyspark 报错 'org.apache.spark.sql.hive.HiveSessionStateBuilder'
十三
03-27 2245
Windows10 spark 2.2.3 Hadoop 2.7.6 python 3 当以pyspark --master local[2]或者pyspark启动时，会在运行 from pyspark.sql.session import SparkSession spark= SparkSession.builder.appName("your-app-name").getOrCreate()...
exception in thread "main" java.lang.illegalargumentexception: error while instantiating 'org.apache.spark.sql.hive.hivesessionstate':
最新发布
06-28
### 回答1： 这是Java程序中的异常错误，错误信息为"error while instantiating \'org.apache.spark.sql.hive.hivesessionstate\'"，代表Spark SQL中的HiveSessionState实例化出错了。可能的原因是传入了不合法的参数。需要检查参数的有效性并修复错误。 ### 回答2： 这个错误信息出现在Java编程中，通常是因为Apache Spark中的HiveSessionState实例化出错。 HiveSessionState是Spark中使用Hive元数据存储的状态类。在使用它之前，你需要检查以下问题： 1. Apache Spark版本是否和Hive版本匹配 由于HiveSessionState是Spark中集成Hive元数据存储的一部分，因此在使用时需要注意Apache Spark和Hive之间的版本兼容性。如果二者的版本不匹配，就需要升级或降级其中一方以保持版本兼容性。 2. Apache Spark是否正确配置Hive 在使用HiveSessionState时，你需要检查是否正确配置了Apache Spark中的Hive。具体来说，你需要检查以下步骤： a. 检查Apache Spark的配置文件中是否明确指定了Hive的源文件路径和元数据存储路径。 b. 确保Hadoop的版本和配置与Hive和Apache Spark一致。 c. 确认Hive的类路径在Apache Spark的CLASSPATH环境变量中。 3. 应用程序代码是否正确编写 在使用HiveSessionState时，你需要检查应用程序代码是否正确编写。如果代码存在错误，就可能导致HiveSessionState实例化出错。检查应用程序代码，并尝试解决问题，以确保代码能够正确地创建HiveSessionState实例。 总之，如果你遇到了这个错误信息，在尝试以上三个方面的解决方案之后，应该可以解决问题。 ### 回答3： 这是一个Java程序抛出的异常错误，涉及到 Apache Spark 的 SQL 和 Hive 模块。在程序运行过程中，当创建 HiveSessionState 实例时，程序报告无效参数的异常错误。这种异常错误通常与程序代码编写或环境设置相关。以下是可能的原因： 1. Apache Spark 版本不兼容：如果程序代码使用的 Apache Spark 版本与当前环境中已安装的版本不匹配，则可能会导致此异常错误。此时，您需要更新程序代码并安装匹配的版本或更新当前环境中的 Apache Spark 模块。 2. 缺少依赖项：您可能会遇到缺少必需的依赖项的情况，这些依赖项可能包括 Hive 和 Hadoop 等模块。要解决此问题，您可以通过 Maven 或 Gradle 等工具来下载这些模块的依赖项。 3. 错误的配置：有时，如果您的 Apache Spark 配置不正确，也会产生此类异常。这可能包括错误的文件路径或中断的网络连接等。您需要检查配置文件并确保所有设置都正确。 4. 系统资源不足：如果您的系统资源不足，例如内存不足或磁盘空间不足，则可能会导致此异常错误。您应该尝试清理系统并删除不必要的文件，以释放更多的资源。 最后，在解决此异常错误之前，请确保您已经阅读了完整的错误信息，包括堆栈跟踪和详细的错误描述。通过分析错误细节，您可以更好地了解出现的问题，并更有效地解决它。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值