Error moving data files from hdfs: to final location hdfs
azkaban执行批量执行presto任务时遇到:
prestodb.exceptions.PrestoExternalError:
PrestoExternalError(type=EXTERNAL, name=HIVE_FILESYSTEM_ERROR,
message="Error moving data files from hdfs://fp-bd6:8020/tmp/presto-dev/66c96fc8-7c29-4d76-97a1-9c83d3edb71c/20180403_025435_00063_dt4wd_004e32c7-3cc3-4c21-93de-0eeba247e860
to final location hdfs://fp-bd6:8020/apps/hive/warehouse/cdm_crm.db/rfm_base/20180403_025435_00063_dt4wd_004e32c7-3cc3-4c21-93de-0eeba247e860")
第一次任务会执行失败,失败后但继续执行后面的却能成功。后来发现多个任务同时删除和添加同一个表presto是不支持的。然后调整下任务执行的依赖关系就能正常执行了。