NoSuchMethodException: org.apache.hadoop.hive.ql.metadata.Hive.loadTable

于 2024-05-10 10:48:54 发布
阅读量176 收藏
点赞数 2
文章标签： hadoop apache hive spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_58815093/article/details/138655223
版权

当用idea代码的形式sparksql去加载数据的时候，出现了下方错误

这种就是依赖冲突了，导致他无法去读取，然后去查看org.apache.hadoop.hive.ql.metadata.Hive.loadTable这个方法

进入第一个方法查看到 有7个参数

进入第二个方法查看到参数有好多

然后根据报错显示，Exclude掉了第二个3.1.2版本的hive-exec,再重新导入依赖，运行之后就解决了

哦c八嘎c卡漏
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeExcepti
九师兄
06-05 4778
先启动metastore服务: hive –service metastore
hadoop与spark遇见的问题
weixin_47014745的博客
06-15 672
这里写自定义目录标题hadoop与spark遇见的问题RPC响应超出最大数据长度Hadoop访问被拒绝 hadoop与spark遇见的问题 RPC响应超出最大数据长度 java.lang.NoSuchMethodException: org.apache.hadoop.ipc.RpcException.(java.lang.String)错误 解决办法： 1.找到hadoop/etc目录下的core-site.xml,修改value 确定与你代码中使用的路径一致 fs.defaultFS hdfs://1
java.lang.NoSuchMethodError: org.apache.hadoop.hive.ql.ppd.ExprWalkerInfo.getConvertedNode
DataFlow范式
02-12 2683
环境: Hadoop 2.6.0 Hive 1.1.1 JDK 1.7.0_60 操作系统：Red Hat Enterprise Linux Server release 6.0 (Santiago) 问题描述： 在Hive中执行创建表,导入数据,不带where语句的查询都没有问题。 但是带where语句时报错, 如下： hive (timezipper)> SELECT or
HIVE--NoSuchMethodException: org.apache.hadoop.hive.ql.metadata.Hive.loadDynamicPartitions
王猛的博客
05-10 6384
Exception展示 Exception in thread "main" java.lang.NoSuchMethodException: org.apache.hadoop.hive.ql.metadata.Hive.loadDynamicPartitions(org.apache.hadoop.fs.Path, java.lang.String, java.util.Map, boo...
Spark sql NoSuchMethodException: org.apache.hadoop.hive.ql.metadata.Hive.loadDynamicPartitions
qq_41875667的博客
05-27 1280
spark sql 写入hive 分区表报错：程序本身无BUG，因为之前跑过的，并且这个错是在CDH集群上spark组件重新安装后出现的。 这个报错是在程序读取数据，开始写入分区时出现。 Exception in thread "main" java.lang.NoSuchMethodException: org.apache.hadoop.hive.ql.metadata.Hive.loadDynamicPartitions(org.apache.hadoop.fs.Path, java.lang.
java.lang.NoSuchMethodException: com.sun.proxy.$Proxy58.list错误解决办法
09-01
Java中的`java.lang.NoSuchMethodException`异常通常表明在运行时尝试调用一个不存在的方法。这个错误通常发生在动态代理、反射或者其他需要在运行时查找或调用特定方法的场景。在这个特定的问题中，错误提示是`java...
java.lang.NoSuchMethodException: .getPortClassMap()
06-01
在Java编程中，`java.lang.NoSuchMethodException` 是一个常见的运行时异常，它表示尝试调用一个不存在的方法。这个异常通常发生在动态方法调用或反射操作中。在给出的标题 "java.lang.NoSuchMethodException: ....
Java上传文件错误java.lang.NoSuchMethodException的解决办法
08-26
在Java编程中，`java.lang.NoSuchMethodException`异常通常表明在运行时尝试调用一个不存在的方法。这个错误在上传文件时出现，可能是由于在控制器方法的签名与前端发送请求时的参数不匹配导致的。在描述中提到的...
解决执行 spark.sql 时版本不兼容的一种方式
最新发布
骑着蜗牛向前跑的博客
08-18 1104
当 spark Java jar 包在不同大数据平台执行时如何解决依赖版本不兼容问题
【hadoop hive】hive启动报错java.lang.NoSuchMethodError: org.apache.hadoop.conf.Configuration.unset(Ljava/l
七夜之家
03-10 1万+
Hive启动时报错，报错信息如下： Logging initialized using configuration in jar:file:/usr/local/opt/hive-0.14.0/lib/hive-common-0.14.0.jar!/hive-log4j.properties Exception in thread "main" java.lang.NoSuchMethodEr
Kylin4.0beta版搭建报错指南
Mr.W的博客
05-10 651
kylin4.0beta版搭建报错指南 大部分问题是jar包版本冲突, 导致各种类找不到 根本问题是kylin4.0测试版, 依赖spark2.4.6和cdh6.3.2 spark2.4.6依赖hadoop2.7和hive1.x cdh6.3.2自带hadoop3.0和hive2.x 或者可以试试EMR5.31, 自带spark2.4.6, 可能冲突小一些 NoSuchFieldError: INSTANCE - java.lang.NoSuchFieldError: INSTANCE - java.lan
hive启动出错 org.apache.hadoop.hive.ql.metadata.HiveException
bwddd的博客
02-13 1万+
刚设置好hive的配置文件, 元数据存储使用的是mysql, 然后进行hive进入命令行模式, 使用show databases发现报异常 看报错信息是元数据异常. 那么一定是与mysql的连接,或者元数据的存储出现了问题. 上网百度找了一些答案,说是需要进行元数据格式化, 于是尝试了下, 发现还是报错. # 格式化元数据 schematool -dbType mysql -initS...
java.lang.NoSuchMethodError: org.apache.hadoop.hive.ql.session.SessionState
半丶晨曦的博客
07-15 1098
java.lang.NoSuchMethodError:org.apache.hadoop.hive.ql.session.SessionState Execution Error, return code -101 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask java.lang.NoSuchMethodError: org.apache.hadoop.hive.ql.session.SessionState.getPerfLogger()Lorg/
hive的一个报错解决org.apache.hadoop.hive.ql.metadata.HiveException:记录
weixin_37761111的博客
06-15 2万+
遇到问题 解决方法： 1.首先在hive的conf目录下的hive-site.xml配置如下 <property> <name>datanucleus.schema.autoCreateAll</name> <value>true</value> </property> ...
Error: java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: org.apache.hado
热门推荐
wulantian的专栏
12-02 2万+
今天在数据合并的时候发现map 成功但是reduce总是失败， 问题简单描述：把每天采集的数据，合并都汇总表中，按天为分区。 如下看到map在执行时均成功：但是在最终的 reduce阶段失败，查找原因： Error: java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: org.apache
java.lang.NoSuchMethodException: org.apache.hadoop.fs.LocalFileSystem.isFileClosed(org.apache.hadoop.fs.Path)
06-07
这个错误通常是因为你的 Hadoop 版本与你使用的代码不兼容所导致的。`org.apache.hadoop.fs.LocalFileSystem.isFileClosed(org.apache.hadoop.fs.Path)` 方法在早期版本的 Hadoop 中是不存在的，但在较新版本的 Hadoop 中已被引入。如果你的代码使用了这个方法，但运行环境中的 Hadoop 版本太旧，就会出现 `NoSuchMethodException` 的错误。 解决这个问题的方法是升级你的 Hadoop 版本，或者使用一个与你当前 Hadoop 版本兼容的代码库。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值