4.sqoop增量导入

1.增量导入hdfs

在实际工作当中，数据的导入很多时候都是全量的导入一次, 之后只需要导入增量数据即可，并不需要将表中的数据全部导入到hive或者hdfs当中去，肯定会出现重复的数据的状况，所以我们一般都是选用一些字段进行增量的导入，为了支持增量的导入，sqoop也给我们考虑到了这种情况并且支持增量的导入数据. 

• 增量导入是仅导入新添加的表中的行的技术。

• 它需要添加 ‘incremental’, ‘check-column’, 和 ‘last-value’选项来执行增量导入。

--incremental <mode>
--check-column <column name>
--last value <last check column value>

第一种增量导入实现

• 基于递增列的增量数据导入（Append方式）

• 导入emp表当中id大于2的所有数据

  • 注意：这里不能加上 --delete-target-dir 参数，添加就报错

sqoop import \
--connect jdbc:mysql://node1:3306/userdb \
--username root \
--password 123456 \
--table emp \
--incremental append \
--check-column id \
--last-value 2  \
-m 1 \
--target-dir /sqoop/increment1 

参数解释