数据去重，确保数据迁移过程不产生重复数据

保证数据不重复思想：

1、目标表数据无重复

2、即将插入的数据无重复

3、即将插入的数据与目标表数据之间无重复

修复重复数据实施策略

1、对目标表按某列或某几列进行去重（只需执行一次）

2、对新插入的数据设置主键（一般是全局主键）

3、删除目标表中与新插入数据主键相等的数据 （delete from sink_table a using source_table b where a.id = b.id）