sqoop增量导入

核心参数

• –check-column 
  用来指定一些列，这些列在增量导入时用来检查这些数据是否作为增量数据进行导入，和关系型数据库中的自增字段及时间戳类似. 
  注意:这些被指定的列的类型不能使任意字符类型，如char、varchar等类型都是不可以的，同时–check-column可以去指定多个列
• –incremental 
  用来指定增量导入的模式，两种模式分别为Append和Lastmodified
• –last-value 
  指定上一次导入中检查列指定字段最大值

Append模式实战增量导入

执行以下指令先将我们之前的数据导入

sqoop import \
--connect jdbc:mysql://master:3306/test \
--username hive \
--password 123456 \
--table customer \
-m 1

使用hdfs dfs -cat查看生成的数据文件，发现数据已经导入.然后我们在mysql的customer中插入2条数据

insert into customer values(6,'james');
insert into customer values(7,'luna');

执行如下的指令，实现增量的导入

sqoop import \
--connect jdbc:mysql://master:3306/test \
--username hive \ 
--password 123456 \
--table customer \
--check-column id \
-