Sqoop1.4.6 增量导入HDFS

最新推荐文章于 2024-02-07 17:43:29 发布

Rosen_Luo

最新推荐文章于 2024-02-07 17:43:29 发布

阅读量2.2k

点赞数

分类专栏： sqoop

本文链接：https://blog.csdn.net/Rosen_Luo/article/details/49760805

版权

本文介绍了Sqoop1.4.6如何进行增量导入到HDFS。通过设置特定参数， Sqoop可以仅导入数据库中新添加的数据，且当存在主键时才能进行增量操作。利用'Saved Jobs'机制，Sqoop自动记录上次执行状态，通过crontab定时执行，实现真正的增量导入。

摘要由CSDN通过智能技术生成

Sqoop提供将新数据导入，而已经导入的数据不再执行导入操作，即增量导入操作。使用以下参数：

--check-column (col)	指定一个“标志列”用于判断增量导入的数据范围，该列不能是字符型，最好是数字或者日期型（这个很好理解吧）。
--incremental (mode)	指定增量模式，包含“追加模式” append 和“最后修改模式” lastmodified （该模式更满足常见需求）。
--last-value (value)	指定“标志列”上次导入的上界。如果“标志列”是最后修改时间，则--last-value为上次执行导入脚本的时间。

结合Saved Jobs机制，可以实现重复调度增量更新Job时 --last-value 字段的自动更新赋值，再结合cro

关注