Hive导入mysql数据丢失_sqoop 数据从hive导入到mysql 遇到的坑

1、

sqoop export \

--connect jdbc:mysql://127.0.0.1:3306/sqoop_demo \

--username test \

--password test \

--table test_sqoop \

--export-dir /user/hive/warehouse/dws.db/tmp_h2m_demo \

--input-fields-terminated-by "\\01" \

--update-mode allowinsert \

--update-key id

脚本一直卡在map任务上面， 直到卡慢10分钟，然后显示任务失败。但是任务失败，log没有显示任何原因。

后来的后来，才发现原来是hadoop的服务器没有权限访问mysql， 将服务器加入白名单后，脚本正常执行。

2、

在sqoop使用export 从hive导出数据到mysql 之前，可以使用 sqoop eval 清空表(当然也可以写shell脚本，或者其他的方式)

sqoop eval --connect jdbc:mysql://ip:3306/dbname --username ddd --password ppp --query "TRUNCATE TABLE ${truncateTableName}"