1、
sqoop export \
--connect jdbc:mysql://127.0.0.1:3306/sqoop_demo \
--username test \
--password test \
--table test_sqoop \
--export-dir /user/hive/warehouse/dws.db/tmp_h2m_demo \
--input-fields-terminated-by "\\01" \
--update-mode allowinsert \
--update-key id
脚本一直卡在map任务上面, 直到卡慢10分钟,然后显示任务失败。但是任务失败,log没有显示任何原因。
后来的后来,才发现原来是hadoop的服务器没有权限访问mysql, 将服务器加入白名单后,脚本正常执行。
2、
在sqoop使用export 从hive导出数据到mysql 之前,可以使用 sqoop eval 清空表(当然也可以写shell脚本,或者其他的方式)
sqoop eval --connect jdbc:mysql://ip:3306/dbname --username ddd --password ppp --query "TRUNCATE TABLE ${truncateTableName}"