【Sqoop】Sqoop如何增量抽取数据

 

实现方法：

利用--where参数对关系型数据库数据进行筛选，将结果导入非关系型数据库。根据特殊字段，将日期作为一个查询条件对源数据进行匹配，将符合条件的记录作为结果采集到非关系型数据库中

格式：

import --connect jdbcurl --username xxxx--password ****** --table tablename  --where "data_insert like '2018-08-16%' " --target-dir /user/scapp/tablename --null-non-string \\N --null-string \\N --lines-terminated-by \n  --hive-import --hive-overwrite --hive-table hivedb.hivetable --delete-target-dir -m 1 --fields-terminated-by \001 --hive-drop-import-delims

参数解析：

--connect :连接的关系数据库的jdbc信息

--username:关系数据库的登录账户

--password:关系数据库的登录密码

--table: 关系数据库表名

 --hive-import: 从关系型数据库向非关系型数据库中导入数据的标志

--where：从关系型数据库导入数据时的查询条件,接where的查询条件。例如：‘–where id<100’

--table:关系数据库表名