1.增量导入hdfs
在实际工作当中,数据的导入很多时候都是全量的导入一次, 之后只需要导入增量数据即可,并不需要将表中的数据全部导入到hive或者hdfs当中去,肯定会出现重复的数据的状况,所以我们一般都是选用一些字段进行增量的导入,为了支持增量的导入,sqoop也给我们考虑到了这种情况并且支持增量的导入数据.
-
增量导入是仅导入新添加的表中的行的技术。
-
它需要添加 ‘incremental’, ‘check-column’, 和 ‘last-value’选项来执行增量导入。
--incremental <mode>
--check-column <column name>
--last value <last check column value>
第一种增量导入实现
-
基于递增列的增量数据导入(Append方式)
-
导入emp表当中id大于2的所有数据
-
注意:这里不能加上 --delete-target-dir 参数,添加就报错
-
sqoop import \
--connect jdbc:mysql://node1:3306/userdb \
--username root \
--password 123456 \
--table emp \
--incremental append \
--check-column id \
--last-value 2 \
-m 1 \
--target-dir /sqoop/increment1
参数解释