CDH集群数据迁移时报错：org.apache.hadoop.hive.ql.exec.DDLTask (state=08S01,code=1)

最新推荐文章于 2024-10-30 17:35:22 发布
最新推荐文章于 2024-10-30 17:35:22 发布
阅读量3.3k 收藏 2
点赞数 2
分类专栏： 大数据学习 文章标签： hive数据迁移报错
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sun_luming/article/details/124048939
版权
在CDH集群中进行Hive数据迁移时，遇到使用beeline执行MSCK REPAIR TABLE命令修复分区失败的问题，错误信息显示ExecutionError，returncode为1。解决方法是在beeline中设置hive.msck.path.validation=ignore，之后重新执行分区修复操作，问题得到解决。
摘要由CSDN通过智能技术生成

CDH集群中做hive数据迁移，通过hdfs dfs -put将本地数据文件上传到hdfs的路径中，然后通过beeline执行create table命令，在执行msck repair table命令做分区修复时出现如下报错：
在这里插入图片描述
报错关键字：
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask

Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask (state=08S01,code=1)

解决方法：
beeline命令行执行：

set hive.msck.path.validation=ignore;

然后再次做分区修复：
在这里插入图片描述

return code 1 from org.apache.hadoop.hive.ql.ddl.DDLTask
SunnyRivers
03-20 733
注意：set命令是一次性的，而且无法在shell脚本中使用，否则直接报错：Error: Error while processing statement: Cannot modify hive.msck.path.validation at runtime. It is not in list of params that are allowed to be modified at runtime (state=42000,code=1)
kettle-linux中执行hive的ktr报错：Error connecting to database: using class org.apache.hive.jdbc.HiveDriver
lisery的博客
07-19 1万+
1.将windows环境中产生的ktr文件上传到linux环境中执行 [root@lx02 data-integration]# ./pan.sh -file=/opt/cm/hadoop/pdi-ce-7.1.0.0-12/data-integration/workspace/hivetorizhi.ktr >> /opt/cm/hadoop/pdi-ce-7.1.0.0-12/...
hive踩坑 Unknown primitive type VOID (state=08S01,code=1)
weixin_43247092的博客
01-11 2924
hive踩坑 Unknown primitive type VOID (state=08S01,code=1)
[08S01][1] Error while processing statement: FAILED: Execution Error, return code 1 from org. apache
最新发布
2401_85532156的博客
10-30 368
报错[08S01][1] Error while processing statement: FAILED: Execution Error, return code 1 from org. apache. hadoop. hive. ql. exec. mr. MapRedTask. User: atguigu is not allowed to impersonate atguigu。解决方案：在hive目录下的conf文件下的hive-site.xml文件，添加配置。该报错是因为内存等资源不足。
beeline连接hive server遭遇MapRedTask (state=08S01,code=1)错误
qq_41607306的博客
03-26 2883
转自：https://www.cnblogs.com/bluejoe/p/5115822.html 采用beeline连接hive server是遭遇到如下错误： [java]view plaincopyprint? 5:jdbc:hive2://bluejoe0/default>select*fromhive_tripleswheresubject='&l...
Hive 自定义udf/udtf报错FunctionTask (state=08S01,code=1)解决方案
wdwfjsw的博客
05-15 2923
Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.FunctionTask (state=08S01,code=1)
Hive建表报错org.apache.hadoop.hive.ql.exec.DDLTask
qq_39821336的博客
03-18 3293
Hive建表报错：FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask 解决方案：在MySQL中执行一下的命令 之后在hive中建表就会成功：
Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive
二锅头的博客
09-23 1万+
产生原因：堆内存溢出导致的，修改yarn-site.xml文件中添加以下内容就可以解决； 解决方案： <!-- 解决堆内存溢出 --> <property> <name>yarn.scheduler.maximum-allocation-mb</name> <value>10000</value> </property> <property> <name>yarn.sc.
cdh6.3.2升级hive至3.x后登陆HiveServer2连接失败.doc
03-01
It is not in list of params that are allowed to be modified at runtime (state=08S01,code=0) ``` **HiveServer2 日志记录：** ``` [HiveServer2-Handler-Pool: Thread-55]: Error opening session: org....
大数据问题排查系列 - HIVE踩坑记-HIVE-15642
热门推荐
明哥的IT随笔
08-24 2万+
前言大家好，我是明哥！本片博文是“大数据线上问题排查系列”大类别之一，讲述前段时间我司某产品在某券商遇到的一个问题及解决方案，其背后涉及到 hive 的一个 BUG,在 hive 3.0 ...
idea使用jdbc连接hive的报错总结
菜鸟的博客
06-04 2761
1、java.sql.SQLException: org.apache.thrift.transport.TTransportException: SASL authentication not complete 遇到这种错误，首先看看是否还未进行工作已经关闭了连接 public void insert() throws Exception{ PreparedStatemen...
Hive删除外部分区表，报错：org.apache.hadoop.hive.ql.exec.DDLTask
sunqingok的博客
08-25 905
hive中删除外部分区表后，又在另一个库中创建相同的外部分区表，都是从hdfs上的相同目录上读取数据，结果报错org.apache.hadoop.hive.ql.exec.DDLTask返回代码1 解决方法： set hive.msck.path.validation=ignore; MSCK REPAIR TABLE table_name; 其中的原理：待续 ...
beeline报错：return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask
Howe的博客
12-13 2373
在执行 beeline -u jdbc:hive2://127.0.0.1:10000 -n root -p password -e "truncate table xxx;" 的时候报错： Driver: Hive JDBC (version 2.1.1-cdh6.3.2) Transaction isolation: TRANSACTION_REPEATABLE_READ Error: Error while processing statement: FAILED: Execution .
问题解决-Hive创建汉字字段表时，报错org.apache.hadoop.hive.ql.exec.DDLTask. MetaException
software_student的专栏
07-02 4136
项目场景： 在大数据集群场景中，需求方（客户）会给你提出很多奇葩问题，让一个大数据职场小白的我为之抓狂，在一顿挠心之后，还得想办法去满足需求方提出的需求 前不久我的需求方就是我们CDH集群的使用方-数据应用开发团队给我出了个难题，说业务部门想要使用汉语字段的表使用，也就是表结构中字段名称必须是汉语，俗话说，中国文化博大精深，汉语最为精髓。 汉语考试： 1.“小明，今晚有思修课，你去不去？”，“我去！我不去！”，问小明到底去不没去？ 2.“小明，窗台上落了鸟屎，去擦一下好吗？”，“我擦，我不擦”，问小明到底
分区修复失败的问题 FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask
weixin_52918377的博客
11-23 4974
分区修复失败的问题 FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask 一、问题 在把CDH集群上的数据迁移到apache集群上时，遇到错误，记录一下。 1.脚本执行的时候报错 INFO : Compiling command(queryId=hadoop_20211123141935_050bb456-601d-4f8d-bb3c-0b274461b4f8): msck repair tab
org.apache.hadoop.hive.ql.exec.DDLTask. MetaException
口袋里的小龙的专栏
05-22 6672
hive结合mysql
hive FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask.
u010031813的博客
07-30 2459
错误提示： hive> drop table java_file; FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:java.lang.IllegalArgumentException: java.net.UnknownHostException: myhadoop) 原因： 1.因为更改了主机名称，将myhadoop修改为dw.
org.apache.hadoop.hive.ql.exec.DDLTask. show Locks LockManager not specified解决
qq_43688472的博客
08-04 648
配置Hive锁管理器：设置hive.lock.manager属性的值为正确的锁管理器实现类。常见的锁管理器实现包括org.apache.hadoop.hive.ql.lockmgr.zookeeper.ZooKeeperHiveLockManager和org.apache.hadoop.hive.ql.lockmgr.EmbeddedLockManager。打开Hive的配置文件（例如hive-site.xml），检查是否有名为hive.lock.manager的属性。
但我还是报Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.conf.Configurationz
06-13
如果您遇到了`java.lang.ClassNotFoundException: org.apache.hadoop.conf.Configuration`的错误，那么很可能是您未能正确地将Hadoop的配置文件和库添加到类路径。 首先，请确保您已经正确地安装了Hadoop，并且...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值