sqoop的导出导入,很多人看日志都看不到出错原因。
xshell中执行只能看到启动laucher失败,不能看到真实原因,具体原因应该去yarn的jobhistory上看:
查看方法1:搜索这个job编号:job_1582275944250_10373。方法2,直接上jobhistory看最近的几条里面就会有这个刚跑的任务。
jobhistory端口号一般是19888,cdh上查看的方法很简单:
点击starttime排序可以看到最近的记录,或者在右上角搜索框中search job编号。
点击查看:
可以看到具体原因了。这个失败是因为主键重复。
这个是字段太长超过mysql中表设计的字段长度。
已经truncate过hive表,仍然报路径已存在。解决方法:
–delete-target-dir --hive-drop-import-delims
如果还有问题,检查一下是不是还有–create-hive-table 这个建表参数,删掉才能不报错,因为你表已经在了。