sqoop增量导入hive_Sqoop 增量导MySQL数据 至Hive

通过Sqoop 增量导数据到Hive, 命令如下：

./sqoop-job

--meta-connect jdbc:hsqldb:hsql://127.0.0.1:16000/sqoop

--create t_order_increment_job

-- import --connect jdbc:mysql://127.0.0.1:3306/kevin?serverTimezone=Asia/Shanghai

--username root --password 123456

--append

--table t_order_increment

--columns "id,name,my_time"

--incremental lastmodified

--check-column my_time

--last-value '2019-08-30 21:36:16'

--as-textfile

--target-dir /user/hive/warehouse/t_order_increment

如果同一条记录，被修改后，导入Hive，会出现两条id相同的记录。有什么好办法可以去掉重复的记录？

试过用sqoop-merge命令，但是这个命令需要用新的路径，不能用原来Hive默认的表路径，这样每次都得修改Hive表的location属性，感觉不是个好办法。