Hive drop 事务表 报错 flushing changes to datastore

已于 2022-04-28 03:16:20 修改
阅读量2.9k 收藏 1
点赞数
分类专栏： Hive 踩过的坑 文章标签： hive
于 2022-04-28 02:58:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Adam_captain/article/details/124464597
版权 
[2022-04-28 02:13:01] [08S01][1] Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:Exception thrown flushing changes to datastore)

如果一个事务表中的数据是来源于其他表（insert into），然后先 drop 源数据表，再 drop 该事务表就会报以上错误，并且在执行drop该事务表的操作之后该事务表中的数据也会消失，但该表却无法删除。

所以应该先drop该事务表，再drop源数据表，就不会发生报错。查了网上大量的资料大部分都是说是字符编码的问题，但我的MySQL字符集编码一切正常，就挺无语的

如果只是单纯的分桶表就无所谓drop表的先后顺序，但由于事务表需要指定orc存储格式，这里应该跟其底层的存储原理有关，需要小心drop表的先后顺序

AdamShyly
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hive的一些报错及解决方法
12-18
hive的一些报错及解决方法：连接报错、执行脚本卡住、内存溢出报错、表死锁问题
Hive DDL 之 表
01-07
创建表 语法： CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], …)] [COMMENT table_comment] [PARTITIONED BY (col_name data_type [COMMENT col_comment], …)...
Hive中查看数据库，查看表的时候报错
01-07
一、hive版本验证，FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient 解决方法 简单粗暴：在hvie-site.xml中关闭版本验证 hive.metastore.schema.verification false 目前这种方法只是强制性的关闭了hiv
[08S01][2] Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.
m0_63606851的博客
01-11 919
在使用datagrip操作hive进行插入操作的时候发生了这个错误。查阅资料可知是hive启动堆栈内存不足，修改如下配置，亲测有效。2.修改配置文件hive-config.sh。1.修改配置文件hadoop-env.sh。
Hive 自定义udf/udtf报错FunctionTask (state=08S01,code=1)解决方案
wdwfjsw的博客
05-15 2487
Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.FunctionTask (state=08S01,code=1)
使用sql工具远程连接yarn错误问题
weixin_43779531的博客
12-15 788
SQL 错误 [1] [08S01]: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask tmp/用户名/hive.log /tmp/hadoop/hive.log 2018-12-15 16:47:07...
spark-sql 报错：Exception thrown flushing changes to datastore
赵英超的博客
05-10 797
spark-sql hive
hive启动失败READ COMMITTED, hive创建表失败org.apache.hadoop.hive.ql.exec.DDLTask. MetaException问题总结
zhouben12的博客
08-19 900
hive元数据使用mysql，发现hive启动和在hive中创建表失败的BUG。 启动失败报错提示： Caused by: java.sql.SQLException: Cannot execute statement: impossible to write to binary log since BINLOG_FORMAT = STATEMENT and at least one table uses a storage engine limited to row-based logging. Inn
【mq918一起学hive】hive metaException报错分析
bulbcat的博客
11-23 1091
hive 异常处理 MetaException
mysql mvcc limit_MySQL事务与MVCC
weixin_42376589的博客
01-19 121
本文记录下了作者整理MySQL事务相关知识点时的一些思考和总结，厘清了过去一些模棱两可的知识点。希望本文对大家理解MySQL有所帮助。MySQL事务隔离级别隔离程度从弱到强依次是：读未提交(read uncommitted) < 读已提交(read committed)　< 可重复读(repeatable read)　< 串行读(serializable read)更强的隔离级别...
drop table 引起SQL堵塞场景，规避措施及原理分析
weixin_42851042的博客
03-09 819
drop table引起SQL堵塞场景，规避措施及原理分析 1对业务侧影响及规避措施 1.1Drop期间对SQL请求侧的影响和规避措施 表类型 DDL影响 （ALTER等） DML（增删改）和DQL（查）影响 规避措施 有主键表 堵塞同SET内其他所有表DDL操作 l堵塞正在执行D...
hive on tez 常见报错问题收集
01-26
1）Failing because I am unlikely to write too. 2）Caused by: java.lang.OutOfMemoryError: Java heap space ...5）hive on tez 最终insert的表如果使用到union all 时会导致直接查询结果表数据为空的
Hive内部表和外部表
01-07
删除表时(drop table)内部表会删除hdfs对应路径，而外部表不会删除hdfs对应的路径, 删除表无论是内部表和外部表都会删除元数据(metastore.TBLS、metastore.COLUMNS_V2) 二：location关键字 用于指定hdfs路径，如果不...
org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE, inode
技术博客
02-19 1025
hive 使用问题 hive select count(*) from tb 报错 org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x org.apache.hadoop.s...
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask.
weixin_46117281的博客
01-22 2608
[08S01][1] Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:Got exception: org.apache.hadoop.security.AccessControlException Permission denied: user=anonymous, acces
一百一十二、Hive——Exception when loading 4 in table dm_evaluation_1hour with loadPath=hdfs
tiantang2renjian的博客
05-15 676
HiveSQL——分区字段一定要放在SQL里字段的最后位置，否则就会报错
在hive插入数据时出现“Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask”报错
m0_74756715的博客
11-04 6588
运行Tez时检查到用过多内存而被NodeManager杀死进程问题 设置hive的执行引擎
hive 创建表时候报错，Error: Error while processing statement: FAILED: Execution Error, return code 1 from or
yidianyidei的博客
08-19 7280
文章目录hive 创建表时候报错解决方法然后推出 重启hive 就成功了 hive 创建表时候报错 Error: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:For direct MetaStore DB connections, we don’t support retri
数据仓库技术及应用（Hive视图）
最新发布
2301_79744714的博客
06-10 864
是对数据的一个快照，在复杂的查询场景中，物化视图预先计算并保存查询结果，真正查询时可提高效率。物化视图与普通视图的区别在于：物化视图会存储数据，具有表一样的特征；而普通视图不存储数据，是只有表结构的虚拟表。侧视图一般与UDTF结合使用，UDTF为每个输出行生成零个或多个输出行；侧视图会将UDTF应用于基表的每一行，然后将结果输出行对应连接到输入行。
hive报错Retrying HMSHandler after 2000 ms (attempt 9 of 10) with error: javax.jdo.JDODataStoreException: Exception thrown flushing changes to datastore
06-12
这个错误信息通常出现在 Hive 中，是由于 Hive 元数据存储的 JDO 操作失败导致的。可能的原因有： 1. 数据库连接超时或连接池中连接数不足。 2. 元数据存储的表或分区不存在。 3. 元数据存储的表或分区状态异常，例如已经被删除或已经被修改。 4. 数据库故障或数据库死锁等问题。 解决该问题的方法包括： 1. 检查数据库连接池配置，适当增加连接数和超时时间。 2. 确认 Hive 元数据存储的表或分区是否存在，如果不存在则创建。 3. 确认 Hive 元数据存储的表或分区状态是否正常，如果异常则进行修复。 4. 排查数据库故障或死锁等问题。 如果以上方法无法解决问题，可以尝试重启 Hive 服务或者重新创建元数据存储。另外，根据具体的错误信息进行排查和调试也是一种有效的方法。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值