SQOOP增量抽取

最新推荐文章于 2024-08-05 10:00:38 发布

fengfengchen95

最新推荐文章于 2024-08-05 10:00:38 发布

阅读量2.1k

点赞数 1

分类专栏： sqoop

本文链接：https://blog.csdn.net/fengfengchen95/article/details/80075086

版权

本文介绍了如何使用SQOOP将MySQL的数据增量抽取到Hive中，并展示了创建外部表的步骤，以及如何创建和使用SQOOP job来管理增量同步任务，避免手动管理--last-value，确保数据不重复。

摘要由CSDN通过智能技术生成

1.在hive中创建一个外部表进行数据测试：

CREATE EXTERNAL TABLE smes_source.test_etl (
id int ,
name varchar(8),
score int
)
row format delimited fields terminated by '\001'
lines terminated by '\n'
stored as textfile

location "/data/cdh/hive/hiveExternal/TEST_ETL";

2.将mysql中现有的数据抽取到hive中

sqoop import --connect jdbc:mysql://10.96.3.8:3306/lOT_DMPS --username galera --password 123456 --table test_etl --target-dir '/data/cdh/hive/hiveExternal/TEST_ETL' --check-column id --incremental append --last-value 1 --null-string '\\N' --null-non-string '\\N' --fields-terminated-by '\001' --lines-terminated-by '\n' -m 1

3.创建sqoop job:

在进行关系型数据库与Hadoop/Hive数据同步的时候，如果使用--incremental选项，如使用append模式，我们需要记录一个--last-value的值，如果每次执行同步脚本的时候，都需