Error while instantiating 'org.apache.spark.sql.hive.HiveSessionState'

我在windows下面用idea运行spark-sql程序的时候,报了上面的那个错误,我尝试了很多方法,都没有啥效果,后来我往下继续阅读错误,发现了这个实质性错误Exception in thread "main"java.lang.UnsatisfiedLinkError。

如果是报Error while instantiating 'org.apache.spark.sql.hive.HiveSessionState',这个错误原因有很多,我建议大家检查是否做了如下操作:

1. 将配置文件拷贝到resources目录下面:

2. 配置运行时的环境变量,一个是指定windows上面的hadoop目录,另外一个是指定hadoop用户的名字(建议是采用集群里可操作hdfs的最大权限的用户名)。

3. 添加spark-env.sh下面的HADOOP_CONF_DIR这个参数。

å¾ç说æ

4. 修改hdfs的权限配置。

å¾ç说æ

5. 在hadoop环境的bin包下面添加winutils.exe和hadoop.dll。然后在C:\Windows\System32这个目录下面也拷贝hadoop.dll,重启idea或者eclipse。

å¾ç说æ

我的这个问题恰巧是5这部分出了问题,我的环境是hadoop2.7.3,而我用的是hadoop2.2包里面的winutils.exe和hadoop.dull。导致了Exception in thread "main"java.lang.UnsatisfiedLinkError。

后来我在网上找到了最终解决方案:

我用的是hadoop2.7.1的bin包下面的winutils.exe和hadoop.dull

下载地址如下:

https://download.csdn.net/download/n1007530194/9221605

 

 

  • 2
    点赞
  • 15
    收藏
    觉得还不错? 一键收藏
  • 3
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值