sqoop全增量导出到mysql

最新推荐文章于 2022-07-07 13:08:49 发布

qq_15875901

最新推荐文章于 2022-07-07 13:08:49 发布

阅读量1.1k

点赞数

分类专栏： hive 文章标签： hive sqoop mysql

本文链接：https://blog.csdn.net/qq_15875901/article/details/88641572

版权

本文介绍了如何使用HQL和SQOOP进行全量及增量数据导出到MySQL的过程。全量导出通过HQL插入数据到目录，然后用SQOOP将目录数据导出到MySQL。增量导出分为insert模式和update模式，需在HQL中添加适当条件，并配置SQOOP的update-key和update-mode。注意，MySQL表需设置主键，且Hive的存储格式会影响导出方式。

摘要由CSDN通过智能技术生成

全量导出
HQL示例：insert overwrite directory ‘/user/root/export/test’ row format delimited fields terminated by ‘,’ STORED AS textfile select F1,F2,F3 from ;

SQOOP脚本：sqoop export --connect jdbc:mysql://localhost:3306/wht --username root --password cloudera --table --fields-terminated-by ‘,’ --columns F1,F2,F3 --export-dir /user/root/export/test

增量导出（insert模式）
HQL示例：insert overwrite directory ‘/user/root/export/test’ row format delimited fields terminated by ‘,’ STORED AS textfile select F1,F2,F3 from where ;

SQOOP脚本：sqoop export --connect jdbc:mysql://47.99.89.210:3306/phpmanager --username datamanager --password 4duL%*iALC --table t_stock_equipment1 --fields-terminated-by ‘\001’ --update-key hp_stat_date --update-mode allowinsert --export-dir /user/hive/warehouse/cdm.db/t_stock_equipment1

更新导出（update模式）
HQL示例：insert overwrite directory ‘/user/root/export/test’ row format delimi