sqoop 导入hive失败 java.lang.reflect.InvocationTargetException org.apache.oozie.action.hadoop.LauncherMa

sqoop的导出导入,很多人看日志都看不到出错原因。
在这里插入图片描述
xshell中执行只能看到启动laucher失败,不能看到真实原因,具体原因应该去yarn的jobhistory上看:
查看方法1:搜索这个job编号:job_1582275944250_10373。方法2,直接上jobhistory看最近的几条里面就会有这个刚跑的任务。
jobhistory端口号一般是19888,cdh上查看的方法很简单:
在这里插入图片描述
点击starttime排序可以看到最近的记录,或者在右上角搜索框中search job编号。
在这里插入图片描述
在这里插入图片描述
点击查看:
在这里插入图片描述
可以看到具体原因了。这个失败是因为主键重复。
在这里插入图片描述
这个是字段太长超过mysql中表设计的字段长度。

在这里插入图片描述
已经truncate过hive表,仍然报路径已存在。解决方法:
–delete-target-dir --hive-drop-import-delims
如果还有问题,检查一下是不是还有–create-hive-table 这个建表参数,删掉才能不报错,因为你表已经在了。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值