hive报错FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException

问题描述:

创建表时,没有问题。简单插入数据出现这个报错。
hive报错FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException:

Failed to execute spark task, with exception 'org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create Spark client for Spark session fd011781-71c3-4506-a6f4-3421b03e5b1b)'
FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Failed to create Spark client for Spark session fd011781-71c3-4506-a6f4-3421b03e5b1b

解决方案1:

在使用hive开始前,如果mysql是部署在远端且 hive.metastore.local=false
则需要启动hive的metadata服务
我们需要退出Hive,在系统里面启动metadata服务

  1. hive --service metastore &
  2. 然后Ctrl+C
  3. 再hive,进去

注意&号为后台启动,不加就只能挂前台了
这个是其中一个方法。我就是这样解决的。

解决方法2:

spark的/opt/module/spark/conf该目录中有个spark-env.sh.template
文件然后修改文件名为spark-env.sh
在该文件中添加:
export SPARK_DIST_CLASSPATH=$(hadoop classpath)

解决该问题(大概率能解决)。

注意:

这个本来是小问题,不想提,但是还是有些人犯这种简单错误。看看你们配置文件spark或者hive的namenode端口号是不是配置错误。打开web界面看一下你自己的端口号,别填错了。
端口号

  • 4
    点赞
  • 21
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值