kettle日志记录

环境描述:

现在一个项目有很多个作业,需要知道每次跑批后哪些ktr跑成功,哪些失败了

问题解决:

下面是一个具体的操作流程

首先建立数据库表

CREATE TABLE test_1(id INT,NAME VARCHAR(10));
 
INSERT INTO test_1 VALUES(1,'hsj');
 
CREATE TABLE test_2(id INT  PRIMARY KEY NOT NULL,NAME VARCHAR(10));

数据库表建立完毕之后,新建ktr,ktr示意图如下:
832918-20160908171634879-173215239.png

转换日志

在上图界面右键–“转换设置”,可以看到如下界面:

transform_config

上图中日志数据库连接为数据库日志表所存放数据库的连接,日志表名称随便命名

点击“SQL”,出现如下界面

log_table_sql_execute

点击上图中“执行”

log_table_sql_execute_result

日志表已经成功建立。

接着执行测试

测试

查询数据库日志表

SELECT * FROM ETL_LOG

etl_log

以下是LOG_FIELD字段的值:

2016/09/08 17:22:22 - Spoon - 转换已经打开.
2016/09/08 17:22:22 - Spoon - 正在打开转换 [日志记录]...
2016/09/08 17:22:22 - Spoon - 开始执行转换.
2016/09/08 17:22:22 - 日志记录 - 为了转换解除补丁开始 [日志记录]
2016/09/08 17:22:22 - 表输出.0 - Connected to database [DB2] (commit=1000)
2016/09/08 17:22:22 - 表输入.0 - Finished reading query, closing connection.
2016/09/08 17:22:22 - 表输入.0 - 完成处理 (I=1, O=0, R=0, W=1, U=0, E=0
2016/09/08 17:22:22 - 表输出.0 - 完成处理 (I=0, O=1, R=1, W=1, U=0, E=0

步骤日志

配置参考转换日志。

步骤日志中包含了各个步骤数据读写、输入输出等情况。

kettle_step_log

本文转自:kettle日志记录

  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
kettle是一款流行的ETL工具,也可以使用Java代码来完成数据过滤和记录筛选的任务。通过使用Java代码在kettle中进行过滤记录的操作,我们可以实现以下步骤: 1. 首先,在kettle中选择一个适合的步骤,例如使用"过滤记录"步骤或者"Java脚本"步骤。这些步骤可以在kettle的工具箱中找到。 2. 对于"过滤记录"步骤,我们可以使用Java代码编写复杂的过滤逻辑,以通过筛选条件将特定的记录保留或者删除。Java代码可以利用kettle提供的API方法,如getRow、getField等来获取数据,并使用if-else语句或循环结构来实现过滤逻辑。例如,可以使用getField方法获取指定字段的值,并根据条件判断是否保留该记录。 3. 对于"Java脚本"步骤,我们可以直接编写复杂的Java代码来实现过滤逻辑。可以使用kettle提供的变量或者字段名来读取和操作数据,例如使用输入流和输出流来筛选记录。在Java代码中,可以使用if-else语句、循环结构、正则表达式等来实现过滤逻辑。 4. 不论选择哪种方法,都需要保证Java代码的正确性和有效性。可以通过在kettle中运行调试模式,逐步执行Java代码来检查代码的运行情况。如果需要,还可以添加日志输出来查看执行过程中的变量值和过滤结果。 总之,kettle提供了多种方式来通过Java代码过滤记录,可以根据具体的需求和数据特点选择合适的方法。通过使用Java代码,我们可以灵活地实现各种过滤逻辑,并对数据进行筛选和记录处理。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值