sqoop全量导入增量导入及合并
1.sqoop全量导入mysql import到hive中表的当天分区中,每日都是全量数据.2.sqoop增量导入怎么区分哪些是增量数据?根据id字段来区分什么是增量.场景:数据不发生变化并且id是递增的比如昨天导入的id 为1 和 2 的数据,今天我就可以指定导入where id>2的数据.--incremental append 业务库的数据是不断增加的并且不会修改--check-column id 根据id列去看他是新增数据--last-value 2
原创
2021-03-17 12:20:41 ·
1015 阅读 ·
1 评论