执行“spark.sql()”报错Failed to start database ‘metastore_db’ with class loader

如何解决windows下执行“spark.sql()”报错Failed to start database ‘metastore_db’ with class loader

现象描述

执行DataFrame的相关操作时可以正常运行,但是执行spark.sql()这个会出现下面的错误
Caused by: ERROR XJ040: Failed to start database ‘metastore_db’ with class loader org.apache.spark.sql.hive.client.IsolatedClientLoader$$anon$1@476fde05, see the next exception for details.

并且我启动spark时会有提示没有安装winutils的错误。

解决问题过程:

  1. winutils.exe 是hadoop在windows下运行需要的一个文件。 可以去https://github.com/steveloughran/winutils 下载
    需要注意的是要注意版本,比如你的spark 版本是spark-2.xx-bin-hadoop-2.xx,就要去对应的hadoop版本bin目录下下载。

下载后放在spark的bin目录下,并且加到PATH的环境变量中

  1. 创建一个环境变量HADOOP_HOME 指向spark的目录。否则启动spark时会有下面的错
    Could not locate executablenull\bin\winutils.exe …

执行完这两部启动spark已经不会报找不到winutils.exe的WARNing了

但是执行spark.sql()仍然会报错
spark.sql(“select * from employees”)
org.apache.spark.sql.AnalysisException

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值