ETL工具kettle 日志表配置及工作流程

Kettle日志表配置和使用

@(baishu)
[TOC]

当系统中ETL过程中存在多种行为且设置了每日执行增量，这无疑会造成系统数据的审计和校验的巨大麻烦。幸运的是kettle本身已经为我们提供了记录增量行为的配置项。

初始化日志表

当我们第一次使用日志表的配置时，我们需要先在数据库内生成对应的日志表。其实这一步我们也无需自己设计建表语句，在spoon内我们可以直接手动创建日志表。
打开目标转换文件，通过Spoon菜单条的“编辑-设置”打开设置页面，或者右键选择转换配置或者使用快捷键CTRL+T。

点击SQL按钮，kettle会根据我们选择的字段自动生成建表语句，我们选择执行即可创建日志表。

日志表类型

kettle提供了四种日志表,在上图左侧有展示：
- 转换日志表
- 步骤日志表
- 性能日志表
- 日志通道日志表

1、转换日志表

配置参数说明：
日志数据库连接：数据库连接
日志表模式：包含日志表的模式
日志表：转换日志表的名称
日志记录间隔时间：缺省时