错误原因如题:报错关键字:
sqoop Opening field-encloser expected at position 0
报错信息分析:sqoop做merge时期望在位置0时有列分隔符
会出现各种位置,跟mysql字段有关,换行符导致数据放入了第二行,merge时报错
解决方法:sqoop增加神奇的字段:--hive-drop-import-delims 指定导入时删除hive的默认分隔符: \n, \r, and \01
注意,导入hdfs时也可以使用相关针对hive的字段。
ps:错误的数据,作为增量导入时会报错,作为第一次全量导入了错误的数据后再做增量,未发现数据,不能确认会不会报错信息但数据会出问题,请检查特殊符号。
另,记录sqoop增量导入时一个问题:
sqoop cannot join values on null key.
根据字面意思,不能在null key上做join
核查原因,导入是shell脚本批量操作,sql单独写,最后做sqoop操作,没有每个表指定主键传入,而是都传入了id作为主键,所以有的表直接报错了。