Sqoop数据增量导入

从mysql增量导出到hive库

增量导入参数：--check-column Source column to check for incremental

--incremental Define an incremental import of type

--last-value Last imported value in the incremental

--columns 指定源表字段

--enclosed-by 行业分隔符

目前可以使用两种方式：

1. append模式

   可以使用append 加 --where 来达到根据时间戳来增量更新。

   sqoop import  --connect jdbc:mysql://192.168.100.36:3306/test -username admin -password admin --table test_mysql_to_hive_mic --where "jap_date_time >20160101.100101 and jap_date_time <=20161127.100101" --hive-database mysql --hive-table test_mysql_to_hive --split-by des_mysql_id --hive-import --incremental append --check-column des_mysql_id --last-value 0 --enclosed-by "\t"

2. lastmodified模式

   直接使用l