Kettle Spoon 定义错误处理 捕捉错误(3) 保姆级教程实例 本地错误日志文件或者数据库错误日志记录 添加变量、自定义列、报错日期时间

Kettle Spoon 定义错误处理(3)-记录Kettle行级报错详情

Kettle Spoon 定义错误处理 捕捉错误 保姆级教程实例 添加变量、自定义列、报错日期时间。包含日志报错的SQL Server和MySQL的建表语句,以及错误日志没有关于报错时间的解决办法。

一、背景

在使用Kettle时,我们可以通过基础而简单的模块操作来实现Kettle任务失败时调用钉钉机器人提醒任务执行异常(Python脚本)。问题在于,这种简单的提醒功能只能告知任务执行失败,却无法帮助我们深入问题。若我们想深入一步查看什么时候哪一步出现了什么问题,它毫无帮助。
为了记录“Kettle执行失败时,什么时间,具体哪一步,出现了什么问题”这种详细的报错信息,我们需要进行更深入的学习。

本文《记录Kettle行级报错详情》的spoon项目步骤包括,Excel输入 --> 表输出 --> 获取变量 --> 文本文件输出/表输出

实现思路:在表输出执行过程中遇到报错时,通过新增变量来记录当下时间和报错信息,再将记录到行级错误信息的变量输出到日志表或者文本来实现***“Kettle行级错误的记录”***。

注:出于教学目的,本项目对表输出的表增加了唯一键和不为NULL值的表限制。因此,本项目越多次执行,记录出错的效果越佳。

本文的行级错误记录内容包括:脚本路径,时间,错误的转换名称,错误内容,错误代码,错误描述等。看官老爷食用时可酌情添油加醋。

错误日志没有关于报错时间的信息的解决办法:
基本思路如下:
1、对于文本文件输出
新增获取系统信息的步骤,获取系统时间,最后再输出即可。
2、对于表输出
直接在建表时,默认一列时间为当下时间,在插入错误信息时,不做修改即可。

详细内容,参考八、错误日志没有关于报错时间的信息的解决办法

二、步骤总览

在左边的步骤中,分别拉出
1、Excel输入
2、表输出
3、获取变量
4、文本文件输出
5、表输出
按以下图标配置好数据流向(即“跳”)。注:最后的文本文件输出和表输出的数据流向有一
Kettle Spoon 定义错误处理-步骤总览

三、Excel输入

点击跳转获取Excel数据
或者
①将以下数据复制粘贴到Notepad++
②在Notepad++中再次复制粘贴到Excel保存亦可。

date	SKU	OrderSourceCountry
2024/8/23	10090206	UK
2024/8/23		
2024/8/23	10358234	US
2024/8/23		UK
2024/8/23	10515867	UK
2024/8/23		US
2024/8/23	10546368	

3.1 Excel输入-文件

双击Excel输入,在弹出

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值