记一次hive加载文件报错:return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask

hive加载时:第一次成功了,第二次就失败了,报错如下:

ERROR [HiveServer2-Background-Pool: Thread-11607]: ql.Driver (SessionState.java:printError(960)) - FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask

在这里插入图片描述
分析是旧文件crc文件与新拷贝文件的校验值不一致。
因此执行下面命令,查看crc校验文件:

find / -name *.crc
#果然找到了校验文件crc
-rw-r--r--.  1 hive hive   12 Jan  6 15:46 .hive_hadoop_delegation_token1574136949413656045.tmp.crc
-rw-r--r--.  1 hive hive   12 Jan  6 18:26 .hive_hadoop_delegation_token2064869038136188932.tmp.crc
-rw-r--r--.  1 hive hive   12 Jan  6 18:25 .hive_hadoop_delegation_token4312748733469350188.tmp.crc
-rw-r--r--.  1 hive hive   12 Jan  6 15:36 .hive_hadoop_delegation_token7719290918595051733.tmp.crc
-rw-r--r--.  1 hive hive   12 Jan  6 15:39 .hive_hadoop_delegation_token9001326224025580696.tmp.crc

删除crc文件(不放心的话,可以先备份,再删除)
再次执行加载程序:
在这里插入图片描述
在这里插入图片描述
然后发现报以下错误:

Caused by: java.io.FileNotFoundException: /opt/csv/f0177b3e-b437-40de-bbeb-c1c909a44c7btestExcel.csv (Permission denied)

在这里插入图片描述
看样子是权限问题,检查下本地路径/opt/csv,发现权限是root:root,想到hive加载应该是用的hive用户才可以,因此,为目录授权:

chown hive:hadoop -R /opt/csv

另外:代码中涉及到hive加载的地方,用户名和密码,都要换成hive用户的用户名和密码,不能是root
改完之后,再次执行,问题解决!

总结:权限很重要呢!

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值