sqoop导出到mysql数据量很大_Sqoop导出数据到MYSQL问题

最新推荐文章于 2022-11-02 14:34:38 发布

沃克森

最新推荐文章于 2022-11-02 14:34:38 发布

阅读量969

点赞数

文章标签： sqoop导出到mysql数据量很大

本文链接：https://blog.csdn.net/weixin_29047545/article/details/113543170

版权

在使用Sqoop从Hadoop导出数据到MySQL时，遇到主键冲突（Duplicate entry '66' for key 'PRIMARY'）和外键约束错误（MySQLIntegrityConstraintViolationException）。解决办法包括检查数据库和导入数据，避免主键重复，以及在导出时使用`--input-null-string '\\N' --input-null-non-string '\\N'`参数处理空值，确保空值被正确插入为NULL，从而避免导入错误。

摘要由CSDN通过智能技术生成

2015-12-28 11:09:19,403 INFO [Thread-12] org.apache.sqoop.mapreduce.AutoProgressMapper: Auto-progress thread is finished. keepGoing=false

2015-12-28 11:09:19,484 ERROR [Thread-11] org.apache.sqoop.mapreduce.AsyncSqlOutputFormat: Got exception in update thread: com.mysql.jdbc.exceptions.jdbc4.MySQLIntegrityConstraintViolationException: Duplicate entry '66' for key 'PRIMARY'

at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)

at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)

at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)

at java.lang.reflect.Constructor.newInstance(Constructor.java:422)

at com.mysql.jdbc.Util.handleNewInstance(Util.java:404)

at com.mysql.jdbc.Util.getInstance(Util.java:387)

at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:934)

at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:3870)

at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:3806)

at com.mysql.jdbc.MysqlIO.sendCommand(MysqlIO.java:2470)

at com.mysql.jdbc.MysqlIO.sqlQueryDirect(MysqlIO.java:2617)

at com.mysql.jdbc.ConnectionImpl.execSQL(ConnectionImpl.java:2550)

at com.mysql.jdbc.PreparedStatement.executeInternal(PreparedStatement.java:1861)

at com.mysql.jdbc.PreparedStatement.execute(PreparedStatement.java:1192)

at org.apache.sqoop.mapreduce.AsyncSqlOutputFormat$AsyncSqlExecThread.run(AsyncSqlOutputFormat.java:233)

关键信息：

ERROR [Thread-11] org.apache.sqoop.mapreduce.AsyncSqlOutputFormat: Got exception in update thread: com.mysql.jdbc.exceptions.jdbc4.MySQLIntegrityConstraintViolationException: Duplicate entry '66' for key 'PRIMARY'

1、MySQLIntegrityConstraintViolationException是指外键出错了(我的问题是所改主键作为了其他表的外键)

2、Duplicate entry '66'for key 'PRIMARY'是指主键重复了

主键冲突了，检查下数据库的数据，跟写入的数据，更改后可以顺利写入。

解决办法：主键冲突了，检查下数据库的数据，跟写入的数据，更改后可以顺利写入。

空值处理

导出的时候最好加上

[plain] view

plaincopy

--input-null-string "\\\\N" --input-null-non-string "\\\\N"

变成

[plain] view

plaincopy

sqoop export --connect jdbc:mysql://localhost:3306/sqoop_test --username root --password root --table employee --m 1 --export-dir /user/hive/warehouse/h_employee_export/ --input-null-string "\\\\N" --input-null-non-string "\\\\N"

这两句话的意思是如果遇到空值就插入null，要不然出现空值是会报错的