Hive修复外表分区时报错

最新推荐文章于 2024-01-23 10:34:03 发布
最新推荐文章于 2024-01-23 10:34:03 发布
阅读量1.7k 收藏 3
点赞数 2
分类专栏： Hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/YongDaiMe/article/details/119897133
版权

修复外表分区时报错：ERROR: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask。
百度一些方法后发现可以通过参数：set hive.msck.path.validation=ignore; 解决该问题。结果我输出后仍然报错：Cannot modify hive.msck.path.validation at runtime. It is not in list of params that are allowed to be modified at runtime 。
此时我想到可能是数据问题，于是到hdfs上查看。由于hive的分区在hdfs上是以路径的方式体现，查看后发现迁移组的同事将分区字段搞错了，分区字段是dt，结果同事把dt目录下的数据（没有导dt目录）导入到路径上。重新导入后输入msck命令修复分区就好了。

好色仙人的徒弟
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Hive的分区表
01-20
Hive通过分区把一个大的数据集根据业务需要分割成小的数据集，在查询时能够通过where关键词选择指定分区，从而提高查找效率。为什么这样能够提高查找效率呢？其实是因为Hive存放的数据是没有索引的，如果没有建立...
使用MSCK命令修复Hive表分区
yisun123456的博客
12-03 2995
一、介绍 我们平时通常是通过alter table add partition方式增加Hive的分区的，但有时候会通过HDFS put/cp命令往表目录下拷贝分区目录，如果目录多，需要执行多条alter语句，非常麻烦。Hive提供了一个"Recover Partition"的功能。 具体语法如下： MSCK REPAIR TABLE table_name; 原理相当简单，执行后，Hive会检...
hive 参数设置大全
独木不成林，单弦不成音。
12-29 9765
合理设置参数，让集群飞起来~
hive MSCK命令
qq_36470475的博客
09-23 824
MSCK REPAIR TABLE table_name; hive 根据文件添加分区
Impala中的invalidate metadata和refresh
热门推荐
Hello World
05-27 3万+
前言Impala采用了比较奇葩的多个impalad同时提供服务的方式，并且它会由catalogd缓存全部元数据，再通过statestored完成每一次的元数据的更新到impalad节点上，Impala集群会缓存全部的元数据，这种缓存机制就导致通过其他手段更新元数据或者数据对于Impala是无感知的，例如通过hive建表，直接拷贝新的数据到HDFS上等，Impala提供了两种机制来实现元数据的更新，分
Caused by: java.lang.IllegalArgumentException: Cannot modify hive.aux.jars.path at runtime.
qq_38613244的博客
12-02 1517
hive Cannot modify hive.aux.jars.path at runtime问题解决 Caused by: java.lang.IllegalArgumentException: Cannot modify hive.aux.jars.path at runtime. It is not in list of params that are allowed to be mo...
hive on tez 常见报错问题收集
01-26
然而，在实际操作中，我们经常会遇到一些常见的错误，特别是当Hive运行在Tez引擎上时。这里我们将深入探讨五个在Hive on Tez中常见的报错问题及其解决方案。 1. 错误一：Failing because I am unlikely to write ...
hive的一些报错及解决方法
12-18
hive的一些报错及解决方法：连接报错、执行脚本卡住、内存溢出报错、表死锁问题
Hive分区表
01-07
原本存储在一个文件中的数据现在存储在多个文件中，查询数据时只需要知道数据在哪个类别中然后直接去对应类对应的文件中去查询就好，这样只需扫描这一个类别的文件而不需要扫描所有文件，这样提高了查询效率。...
Hive表分区
09-21
Hive表分区，里面有比较详细的Hive表分区方法，希望能够有所帮助。
关于使用msck修复hive分区，以及在添加分区缓慢的问题
sinat_23257429的博客
06-10 2676
1）需要修复的分区数量很大的解决办法 set hive.msck.repair.batch.size=1000; set hive.msck.path.validation=ignore; 第一个参数是设置每次插入到metaStore 分区的批量大小，加入有10000个待修复的分区 那么这里就是10000/1000 共计十个批次，默认如果不设置此参数会把所有数据全部发送到metastore 中执行插入操作。 第二个参数是忽略掉非标准分区表的，不会对这种分区做任何操作，如果需要加入的话 也是需要自己手动alt
hive执行分区修复语句（MSCK REPAIR TABLE）时报FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.
zcs2312852665的博客
01-12 1129
hive执行分区修复语句（MSCK REPAIR TABLE）时报FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.
解决问题：Cannot modify mapreduce.job.reduces at runtime. It is not in list of params that are allowed to
weixin_39419040的博客
12-23 3208
用beeline连接hive的时候，发现任务总是抢占不到资源，增加：set mapreduce.job.reduces=60; 但是返回：Error while processing statement: Cannot modify mapreduce.job.reduces at runtime. It is not in list of params that are allowed to be modified at runtime 看到大多数人的解决方式都是修改hive-site.xml,然后重
Hive之set参数大全-12
最新发布
m0_49620121的博客
01-23 1142
是 Hive 的配置参数之一，用于指定是否尝试在 Hive Metastore 中使用直接 SQL 查询执行 DDL（数据定义语言）操作。这个参数的默认值通常是false，表示不尝试使用直接 SQL 查询执行 DDL 操作。如果将其设置为true，则 Hive Metastore 在执行 DDL 操作时将尝试使用直接 SQL 查询，而不是使用 Hive Metastore 的默认存储实现。使用直接 SQL 查询执行 DDL 操作可能会提高性能，特别是在处理大型表和复杂的元数据操作时。
Hive 通过 beeline 不能设置 mapred.job.name 的解决方法
houzhizhen的专栏
10-19 1369
通过 beeline 设置 job 的名字，抛出以下异常。但是 hive-cli 没有问题。 0: jdbc:hive2://bmr-master-479c2fa:2181/defau> set mapred.job.name=abc; Error: Error while processing statement: Cannot modify mapred.job.name at runtime. It is not in list of params that are allowed to
【Hive-Exception】return code 1 from org.apache.hadoop.hive.ql.exec.DDLTaskHIVE
weixin_53543905的博客
09-05 666
【Hive-Exception】return code 1 from org.apache.hadoop.hive.ql.exec.DDLTaskHIVE Error: Error while processing statement: Cannot modify hive.msck.path.validation at runtime. It is not in list of params that are allowed to be modified at runtime (state=42000,c
在Hive中做修复分区时报FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask
weixin_48143996的博客
11-18 4189
Hive做分区修复 出现FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask可能是在创建分区时未添加数据 模拟分区修复 第一步 选择一个分区路径（与hive建表的路径相同） 第二步手动在hadoop中创建分区 在Hive中查看分区（新建分区并不在Hive中） 因为Hive的分区是对元数据的分区 自动恢复分区（msck repair table *） 手动恢复分区（alter table s
hive msck repair table 报错
Lorenzo's Oil
04-16 3400
hive msck repair table 报错 1.问题描述 msck repair table 库名.表名; 报错： FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask 2.解决办法 set hive.msck.path.validation=ignore; 先使用上述命令后，再执行：msck repair table 库名.表名; ...
hive中设置jobname
u011250186的博客
10-26 1316
hive中设置jobname hive> set mapred.job.name=test; 两种情况， 1，成功，end 2，失败报错，cannot modify mapred.job.name at runtime,it is not in list of params that are allowed to be modified at runtime 报错提示：不能在运行时修改map .job.name，它不在允许在运行时修改的参数列表中 hive> set hiv...
hive 修复分区语句
07-20
Hive修复分区语句可以使用`MSCK REPAIR TABLE`命令来实现。这个命令用于修复Hive表中的分区，特别是在添加或删除分区后可能会出现的问题。 使用`MSCK REPAIR TABLE`命令的语法如下： ``` MSCK REPAIR TABLE table_...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值