修复外表分区时报错:ERROR: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask。
百度一些方法后发现可以通过参数:set hive.msck.path.validation=ignore; 解决该问题。结果我输出后仍然报错:Cannot modify hive.msck.path.validation at runtime. It is not in list of params that are allowed to be modified at runtime 。
此时我想到可能是数据问题,于是到hdfs上查看。由于hive的分区在hdfs上是以路径的方式体现,查看后发现迁移组的同事将分区字段搞错了,分区字段是dt,结果同事把dt目录下的数据(没有导dt目录)导入到路径上。重新导入后输入msck命令修复分区就好了。
Hive修复外表分区时报错
最新推荐文章于 2023-09-05 16:23:59 发布