DMETL4增量比对法数据同步_增量数据比对-CSDN博客

本文链接：https://blog.csdn.net/bruce2903/article/details/104821232

一、DMETL4增量比对法数据同步，是指借用转换中的增量比对组件实现数据同步的一种同步方式，是一种通过读取源表和目的表后进行增量比对，计算出增量数据的方法。技术说明如下：

1. 增量比对法数据同步实质上也是数据比较类同步，跟MD5比较法、影子表同步法严格意义上属于一个类型，但是增量同步效率高的多；

2. 增量比对法数据同步的核心关键技术就是排序和索引，排序后的源表、目的表排序进行比较的计算复杂度从传统的比较类的 m*n降到了m。

3. 对于第2点刚刚讲到的创建源表和目的表索引，理由在于：

(1) 在源表T1的连接列id上创建索引，可以极大加快排序效率；

(2) 在目的表T2的连接列id上创建索引，不仅可以极大加快排序效率，也可以在增量比对的时候走索引连接，可以直接索引定位到数据；

PS:可能有人说，建立索引不一定有用，因为数据的分布性（比如有重复值）不一定会走索引，但是现实的情况是：有重复值的表的数据同步基本不存在，另外如果大部分连接列值重复，数据同步是无意义的。

4. 增量比对法数据同步，其增量耗时主要在：排序（s）、比对（m），总复杂度=s+m

二、实例操作、配置方法

1. 数据、环境准备

创建源表T1和目的表T2，并向源表插入一些数据，更新源表统计信息。

create table  t1(      --创建源表t1
id numeric(13,0),
MSISDN_1 varchar(20),
MSISDN_2 varchar(20),
MSISDN_3 varchar(20),
CALLDATE date,
CALLTIME timestamp,
DURATIONTIME int,
ATTACH_1 varchar(100),
ATTACH_2 varchar(100),
CALLTYPE int,
LY int
);
create index idx_t1_id on t1(id);--在源表连接列上创建索引
call INSERT_DATA(2000000) --插入200W数据，存储过程略
stat 100 on  t1(id);  --更新列统计信息

create table  t2(    --创建目的表t2
id numeric(13,0),
MSISDN_1 varchar(20),
MSISDN_2 varchar(20),
MSISDN_3 varchar(20),
CALLDATE date,
CALLTIME timestamp,
DURATIONTIME int,
ATTACH_1 varchar(100),
ATTACH_2 varchar(100),
CALLTYPE int,
LY int
);
create index idx_t2_id on t2(id);--再目的表连接列上创建索引

2. 先看看下图的总体转换配置图