数据时间戳压缩、_kettle教程-mysql数据增量抽取-无需时间戳无需标识

合并记录控件介绍

该步骤用于将两个不同来源的数据合并，这两个来源的数据分别为旧数据和新数据，该步骤将旧数据和新数据按照指定的关键字匹配、比较、合并。

需要设置的参数：

旧数据来源：旧数据来源的步骤(目标表)

新数据来源：新数据来源的步骤(源表)

标志字段：设置标志字段的名称，标志字段用于保存比较的结果，比较结果有下列几种。

1. “identical” – 旧数据和新数据一样

2. “changed” – 数据发生了变化;

3. “new” – 新数据中有而旧数据中没有的记录

4. “deleted” –旧数据中有而新数据中没有的记录

关键字段：用于定位两个数据源中的同一条记录。

比较字段：对于两个数据源中的同一条记录中，指定需要比较的字段。

合并后的数据将包括旧数据来源和新数据来源里的所有数据，对于变化的数据，使用新数据代替旧数据，同时在结果里用一个标示字段，来指定新旧数据的比较结果。

注意：

旧数据和新数据需要事先按照关键字段排序，升序。

旧数据和新数据要有相同的字段名称。

例子：

旧数据：

field1, field2

1, 1

2, 2

3, 3

4, 4

新数据

field1, field2

1, 1

2, 9

5, 5

设置：标志字段是flag，关键字段是　field1, 比较字段是field2

合并后的数据

field1; field2; flag

1; 1; identical

2; 9; changed

3; 3; deleted

4; 4; deleted

5; 5; new

kettle配置实例

• 1.表输入-源表输入

• 2.表输入-目标表输入

• 3.合并记录

• 4.数据同步-1

• 4.数据同步-2

--------------------------------------------------------------------------------------

教程

结束

感谢

观看

----------------------------------------------------------------------------------------