kettel笔记四（通过配置文件做数据表的增量同步）

目录

作业1

步骤一 创建作业1  名称：配置文件读取增量同步数据 

步骤二 创建作业1的转换（读取需要同步的表数据）

作业2

步骤一  在作业1中添加一个job 

步骤二 双击作业2 

步骤三 创建作业2 取名为表增量同步 

步骤四： 在作业2中添加第一个转换 2.1 获取上一步表名

步骤五  新建作业2中的第一个转换  获取上一步的 表名

5.1 从结果获取记录

5.2 变量设置

步骤六： 在作业2中第一个转换（ 2.1 获取上一步表名 ）勾选上上一步的转换

步骤七：在作业2中添加第二个转换 取名为2.2 获取上一次同步的时间

步骤八：创建作业2的第二个转换 取名2.2获取上一次同步成功的同步时间

步骤九：在作业2中添加第三个转换 取名为2.3同步表数据

 步骤十：创建作业2的第三个转换 取名2.3同步本次数据

步骤十一： 在作业2中添加第四个转换 取名2.4记录同步日志

步骤十二： 创建作业2的第四个转换 取名2.4记录本次同步时间

作业1中关联作业2 更改作业2的名称为 循环处理每个表同步

测试执行 错误处理

---

增量同步：不需要停数据库

数据源准备：三张user表 

 

 

新建配置文件

作业1

步骤一 创建作业1  名称：配置文件读取增量同步数据 

添加 start 

添加转换 改名为（通过excel获取同步的表名）

步骤二 创建作业1的转换（读取需要同步的表数据）

样式：excel输入--复制记录到结果

excel输入

 复制记录到结果：

作业1中通过天剑的转换：excel获取同步的表名的转换 转换设置中勾选上新建的转换 读取需要同步的表数据

设置日志中：勾选上指定日志文件

 日志文件名：先在指定的目录中创建一个log文件夹 /sync_log

r日志文件包含日期：每天一个日志文件

 点击确定

 运行查看：

作业2

步骤一  在作业1中添加一个job 

步骤二 双击作业2 

 在高级中设置 对每个输入执行一次 

步骤三 创建作业2 取名为表增量同步 

步骤四： 在作业2中添加第一个转换 2.1 获取上一步表名

步骤五  新建作业2中的第一个转换  获取上一步的 表名

5.1 从结果获取记录

需要手动填入excel 或者复制

5.2 变量设置

点击获取字段 

步骤六： 在作业2中第一个转换（ 2.1 获取上一步表名 ）勾选上上一步的转换

步骤七：在作业2中添加第二个转换 取名为2.2 获取上一次同步的时间

步骤八：创建作业2的第二个转换 取名2.2获取上一次同步成功的同步时间

表输入：目的在于从日志表中获取上一次同步的时间

sql语句如下：

 表输入中的变量替换sql语句

 设置变量：

 

步骤九：在作业2中添加第三个转换 取名为2.3同步表数据

 

 步骤十：创建作业2的第三个转换 取名2.3同步本次数据

包含的控件：表输入-->表输出

表输入

 表输出：

 确定：

作业2 样式 预览

步骤十一： 在作业2中添加第四个转换 取名2.4记录同步日志

步骤十二： 创建作业2的第四个转换 取名2.4记录本次同步时间

执行sql脚本

 

作业1中关联作业2 更改作业2的名称为 循环处理每个表同步

测试执行 错误处理

查看user表的数据及时间： 9月8号

  查看日志表

 注意;把作用中的转换都勾选上 

执行 错误信息为 时间错误了

 更改：

 再次执行 成功