使用sqoop做etl时发生如下错误。
22/09/09 12:29:49 ERROR tool.ExportTool: Error during export:
经过查看日志发现存在的问题,***-普通授信-2022-09-08-23 这个字段重复了 ,我的设置为
–table table_name
–hcatalog-database db
–hcatalog-table table_name
–columns “字段”
–update-mode allowinsert
–fields-terminated-by ‘\001’
–lines-terminated-by ‘\n’
–input-null-string ‘null’
–input-null-non-string ‘null’
-m 1
Error: java.io.IOException: com.mysql.jdbc.exceptions.jdbc4.MySQLIntegrityConstraintViolationException: Duplicate entry ‘***-普通授信-2022-09-08-23’ for key ‘table_name.PRIMARY’ at org.apache.sqoop.mapreduce.AsyncSqlRecordWriter.close(AsyncSqlRecordWriter.java:205) at
是以为代码跑出来的结果有多条数据,生意需要修改代码,保证数据为唯一的。