Sqoop增量导入

Sqoop增量导入

方式一：
通过查询一个时间字段，例如数据的创建时间create_time >= date_sub(current_date() ,1)
and create_time < current_date() ,进行数据查询过滤，就可以实现离线增量导入
方式二：
通过设置脚本参数
–incremental 数据追加方式 常用 append、overwrite
–check-column 检查的字段 例如 pkid
–last-value 上一次的最大值，需要给一个初始值
上一次的值在执行一次job后会将执行完成后的上一次最大值保存在某个文件中，在sqoop的xml配置文件中可以配置保存路径