impala报错NoSuchMethodError: org.apache.hadoop.hive.metastore.MetaStoreUtils.updatePartitionStatsFast

最新推荐文章于 2024-11-10 02:04:02 发布
最新推荐文章于 2024-11-10 02:04:02 发布
阅读量2.2k 收藏
点赞数 1
分类专栏： 大数据技术 文章标签： impala 分区
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sin_geek/article/details/86158817
版权
在使用Impala向表的新分区写入数据时遇到错误，原因是Impala与Hive的版本不兼容。Impala在解析SQL时尝试调用Hive中不存在的`MetaStoreUtils.updatePartitionStatsFast`函数，导致运行时异常。解决方案是通过先在Hive中创建分区，然后再将数据插入到Impala中，避免直接用Impala操作新分区。
摘要由CSDN通过智能技术生成

背景

在使用impala往表的新分区写数据时报错

NoSuchMethodError: org.apache.hadoop.hive.metastore.MetaStoreUtils.updatePartitionStatsFast(Lorg/apache/hadoop/hive/metastore/api/Partition;Lorg/apache/hadoop/hive/metastore/Warehouse;)Z

原因

impala与hive版本问题。应该是impala解析SQL的时候用到的是上面这个函数，而HIVE本身解析的时候用的不是该函数且该版本hive没有该函数，导致impala找不到执行函数，发生报错。

方案

之前都是用HIVE写入新分区

insert overwrite xxx.xxx partition(xxx = '20190109')

这样会自动创建20190109的分区目录，然后把数据写入进去，但是impala不能这样操作，需要先新建分区，再插入数据

最低0.47元/天 解锁文章
Hive初始化报错：org.apache.hadoop.hive.metastore.HiveMetaException: Failed to load driver
zhengzaifeidelushang的博客
05-18 1万+
Hive初始化报错：org.apache.hadoop.hive.metastore.HiveMetaException: Failed to load driver 完整错误如下所示： org.apache.hadoop.hive.metastore.HiveMetaException: Failed to load driver Underlying cause: java.lang.ClassNotFoundException : com.mysql.jdbc.Driver Use --verbose
读取集群中HDFS上的文件报错Error: java.io.IOException: Filesystem closed at org.apache.hadoop.hdfs.DFSCl
QYHuiiQ
06-07 939
在MapReduce中读取HDFS上的文件时报错： 这是因为每个datanode使用的是同一个Configuration对象，节点在访问文件系统时会根据Configuration对象创建一个FileSystem实例（我的自定义Mapper中的代码）：创建的这个实例默认会存在缓存中（由于下图中的源码），所以每个节点来读取时使用的就是同一个实例，这样如果一个节点读完了文件，然后关闭流，下一个节点来读取时就会报错。 而如果我们不添加配置禁用缓存，那么默认是false：所以需要对Configuration对象添
Kylin java.lang.NoSuchMethodError: org.apache.hadoop.hive.metastore.HiveMetaStoreClient.＜init＞(Lorg/
乘风小栈的博客
07-14 1248
在Kylin中倒入hive表的时候报错： java.lang.NoSuchMethodError: 将HIVE版本更换到 之后就能成功显示
impala
最新发布
mnwl12_0的博客
11-10 898
由 Impalad 进程表示,它接收客户端的查询请求(接收查询请求的Impalad为coordinator，Coordinator 通过JNI 调用java前端解释SQL查询语句，生成查询计划树，再通过调度器把执行计划分发给具有相应数据的其它Impalad 进行执行（可以将查询提交到专用impalad或以负载平衡方式提交到集群中的另外一个impalad）)，读写数据，并行执行查询，并把结果通过网络流式的传送回给 Coordinator,由 Coordinator 返回给客户端。
hive报错org.apache.hadoop.hive.metastore.HiveMetaException: Failed to get schema version.
weixin_38383877的博客
04-07 2303
使用schematool -dbType mysql --initSchema --verbose也无错误。2.检查Hive-site.xml文件是否有错误，尤其是关于metastore相关内容，无误。1.检查MySQL是否启动成功 systemctl status mysqld,没有问题。4.突然反应过来主机名应与jdbc的一致。啊啊啊啊啊啊，要疯了。3.检查root是否有权限访问，无误。hive初始化元数据失败。
错误：org.apache.hadoop.hive.metastore.HiveMetaException: Failed to get schema version
热门推荐
葉蕖的博客
04-28 2万+
启动hive之后执行语句报错如下： FAILED: HiveException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient 查询后得知是hive的数据库MySQL在安装的时候没有初始化 解决办法：初始化数据库 ...
【hive/beeline/spark】建表多分隔符，报：org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe
Jack_Roy的博客
01-19 3372
【hive/beeline/spark】建表多分隔符，报：org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe前言HIVE SHELL调整报错解决方案BEELINE调整报错解决方案SPARK调整解决方案后记 前言 大数据平台数据入湖逻辑执行方式从Impala改为beeline（连接hive）的方式后，在sql语句层面上做了一些调整（如DDL语句、分区字段等）。而后又发现，切换后hive默认不支持多字符作为行分隔符，设置多个字符==!@!==，但只会识
启动hive时出现的异常
yp_helloworld的博客
09-03 1485
Caused by: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient at org.apache.hadoop.hive.metastore.MetaStoreUtils.newInstance(MetaStoreUtils...
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask
weixin_39143367的博客
08-04 1034
Hive报错 使用datagrip操作hive，源hql是为分区表插数据，load data local inpath '***' into table ***。 先看hive日志。 日志配置在hive conf文件架中hive-log4j.properties文件的hive.log.dir中。 粗略看一眼，最后一行内容为。 exec.Task (SessionState.java:pr...
hive初始化Mysql报错：org.apache.hadoop.hive.metastore.HiveMetaException: Failed to get schema version.
qq_42129258的博客
04-29 2542
报错： org.apache.hadoop.hive.metastore.HiveMetaException: Failed to get schema version. Underlying cause：com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure 简单来说就是连不上Mysql，总结原因可能有两个：1、mysql-connector.jar包版本的问题，删掉之前的jar包，重新下载其
hive初始化数据库失败 org.apache.hadoop.hive.metastore.HiveMetaException: Schema initialization FAILED!
Wingkin的博客
12-14 1万+
问题： 安装好hive后，执行初始化数据库命令schematool -dbType mysql -initSchema,出现以下错误： Starting metastore schema initialization to 2.3.0 Initialization script hive-schema-2.3.0.mysql.sql Error: Got error 168 from storage engine (state=HY000,code=1030) org.apache.hadoop.hive.
【已解决】org.apache.hadoop.hive.metastore.hivemetaexception: failed to get schema version.
Handoking的博客【学无止境】
08-03 1万+
在stackoverflow上查阅大量相关的问题后我发现，这个问题并不是各个中文博客上所说的版本太新的问题，归根结底是hive没有连上数据库。与ERROR:”Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient”这个错误解决方法一致。 解决办法： 首先要确保你hive，mysql配...
flink NoSuchMethodException: org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.getProxy
彪叔的博客
01-12 2515
{bootstrap.servers=192.168.30.167:29092, group.id=loadInfo_to_hive} Exception in thread "main" java.lang.reflect.InvocationTargetException at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(Nativ
Flink1.12.1使用HiveCatalog(HIve3.1.2)出现java.lang.NoSuchMethodError: org.apache.hadoop.io.retry.RetryUt
《@书山有径%》的博客
02-19 2563
Flink1.12.1使用HiveCatalog(HIve3.1.2)出现java.lang.NoSuchMethodError: org.apache.hadoop.io.retry.RetryUtils.getDefaultRetryPolicy(Lorg/apache/hadoop/conf/Configuration;Ljava/lang/String java.lang.NoSuchMethodError: org.apache.hadoop.io.retry.RetryUtils.getDef
hive安装问题（java.lang.NoSuchMethodError、Required table missing、No appropriate protocal）
weixin_48876595的博客
12-28 2030
问题描述 安装hive完成，运行hive的时候，出现一大堆日志错误，逐个排查 错误一：java.lang.NoSuchMethodError：com.google.common.base.Preconditions.checkArgument 这是因为hive内依赖的guava.jar和hadoop内版本不一致 hive的guava.jar文件在 hive/lib/下 hadoop的guava.jar文件在hadoop/share/hadoop/common/lib/下 让二者的版本保持一致即可，都用
hadoop装mysql配置hive神坑集合
weixin_44495941的博客
04-12 1741
真的是一步一个坑啊！！！！ 初始化数据库 sudo mysql_secure_installation 这条赋权命令分三部分写 grant all on *.* to hive@localhost identified by 'hive'; 创建两个文件输入内容 问题一...
java.lang.NoClassDefFoundError: org/apache/hadoop/hive/shims/ShimLoader
qq_56870570的博客
08-20 1880
遇到的问题： 21/08/20 16:29:40 INFO hive.HiveImport: Loading uploaded data into Hive Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hive/shims/ShimLoader at org.apache.hadoop.hive.conf.HiveConf$ConfVars.<clinit>(HiveConf....
Hive报错，NoSuchMethodError: org.apache.hadoop.mapred
weixin_33898876的博客
12-24 699
hive能正常运行，当查到xiaoping数据库中的student表中的数据hive自动退出而报错信息如下。 [root@xp hive-0.13.1-cdh5.3.6]# bin/hive 17/12/21 10:11:23 WARN conf.HiveConf: DEPRECATED: hive.metastore.ds.retry.* no longer has any effect. U...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值