sqoop全量导入增量导入MySQL_sqoop1.4.6 全量导入与增量导入与使用技巧

最新推荐文章于 2023-03-10 00:15:16 发布

Aaron Gary

最新推荐文章于 2023-03-10 00:15:16 发布

阅读量266

点赞数

文章标签： sqoop全量导入增量导入MySQL

本文链接：https://blog.csdn.net/weixin_42169674/article/details/113639327

版权

全量导入：

sqoop import --connect jdbc:mysql://192.168.0.144:3306/db_blog --username root --password 123456 --table t_link --target-dir /user/hadoop/t_link --hive-import --create-hive-table --hive-overwrite --num-mappers 1

增量导入：(根据时间促来导入，如果表中没有时间促属性，可以增加一列时间簇)

sqoop import --connect jdbc:mysql://192.168.0.144:3306/db_blog --username root --password 123456 --table t_link --target-dir /user/hadoop/t_link --hive-import --check-column crt_time --incremental lastmodified --last-value "2016-11-22 21:00:00" --num-mappers 1

从HIVE中到出道mysql中

sqoop export --connect jdbc:mysql://192.168.0.144:3306/db_blog --username root --password 123456 --table test1 --export-dir /user/hive/warehouse/test1 --input-fields-terminated-by '\t' --num-mappers 1