执行转换时如何让Kettle记录错误并继续执行？——记一种解决方案

最新推荐文章于 2024-09-13 17:57:58 发布
最新推荐文章于 2024-09-13 17:57:58 发布
阅读量5w 收藏 26
点赞数 6
分类专栏： 【Kettle】 文章标签： 数据库 解决方案 数据 kettle
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_22073849/article/details/71809243
版权
本文介绍了在使用Kettle进行数据迁移时遇到的错误处理问题。作者发现由于“脏数据”导致Oracle数据库插入错误，通过增加错误输出步骤实现了错误记录并继续执行。尝试了使用日志、txt和excel文件来捕获错误数据，通过减少提交数量以定位错误。尽管效率降低，但成功避免了整个脚本因错误停止。作者寻求更优的解决方案，以提高处理大量数据时的效率。
摘要由CSDN通过智能技术生成

　　如题，近几天在利用Kettle进行数据迁移的工作（也就是把数据全量导入到新数据库中，其中有些字段有些许调整），在写好脚本并执行后发现一个很严重的问题——每次脚本在执行到某个位置的时候就会意外停止，如下两图所示

这里写图片描述
这里写图片描述

而自带的日志中提示类似如下：

2017/05/12 14:43:07 - 表输出.0 - ORA-12592: TNS: 包错误

2017/05/12 11:37:46 - 表输出。0 Caused by : java.sql.BatchUpdateException: ORA-01438:值大于为此列指定的允许精度

　　百度谷歌了一下这种错误，是属于Oracle的错误ÿ

最低0.47元/天 解锁文章
kettle - JOB循环 , 用于kettle失败后重试 !
01-14
kettle - JOB循环 , 用于kettle失败后重试 ! 具体内容请下载查看!这里不多做解析 ! kettle - JOB循环 , 用于kettle失败后重试 ! 具体内容请下载查看!这里不多做解析 !
KETTLE 执行转换时遇到错误，记录并继续运行
shenlong_no1的博客
12-16 1万+
参考：http://blog.csdn.net/qq_22073849/article/details/71809243 http://blog.csdn.net/xiaosemei/article/details/78562992 http://blog.csdn.net/feng19821209/article/details/9120561 （1）实现-当转换出错可以继续运
使用Kettle报错的解决方法
热门推荐
spcsdn_18785143187的博客
07-20 2万+
1.当你在navicat上面测试数据库连接的时候可以看到数据库连接成功。而在Kettle上面连接同样的库的时候报出一大段错误出来，这时候是不是感觉有点懵逼了。 错误内容如下： 错误连接数据库 [test库] : com.tyky.di.core.exception.XbridgeDatabaseException: Error occured while trying to ...
docker安装mysql8.4.2避坑，报错：Fatal glibc error: CPU does not support x86-64-v2
最新发布
weixin_52526263的博客
09-13 1002
docker安装mysql8.4.2报错：Fatal glibc error: CPU does not support x86-64-v2
Kettle（Pentaho）用法：job作业中并行作业项执行完后执行下一作业项
LdyLly的博客
05-04 1万+
本文基于Pentaho的kettle模块实现ETL功能，在spoon中实现创建、定义作业，记录作业job的两种处理并行作业项的方法。
Kettle（三）数据写入错误如何处理？
king的专栏
01-31 4576
Kettle作为数据治理工具，总是会涉及到数据的搬迁，在原始数据过大、种类过多时写入肯定会出现一些错误（缺少必填项、数据格式错误、主键冲突等等），那么Kettle如何解决？其实Kettle与我们自己写程序的思维不会有本质性的差别，因此我们常见的处理方式基本上都可以得到解决。基本上我们常规的解决办法：阻断执行、忽略错误继续执行、记录错误数据。1.阻断执行Kettle的默认执行方式，不做任何异常处理即为阻断执行逻辑，不做太多赘述。2.忽略错误继续执行。
Kettle中忽略错误行继续执行
weixin_30530939的博客
12-25 5544
　　在kettle执行的过程中，如果遇到错误，kettle会停止运行。在某些时候，并不希望kettle停止运行，所以就要处理下这些错误行。 　　例如这两天发现在一个转换中，总数出现一些不规则数据，这些数据一出现，就会导致转换停止。 解决办法： 　　因为是垃圾数据，所以说，这些数据不要也没什么影响。 　　如下图，在表输出上勾选【忽略插入错误】，之后再运行时，就能成功，但是因为这样不...
kettle推送数据，保存报错信息
weixin_44691877的博客
06-16 1099
kettle调用存储，传递参数，保存错误信息到表，根据错误信息更改标识
kettle中xml文件输入然后解析有失败的，如何跳过失败的继续执行
qq_48322406的博客
12-10 536
kettle出现了问题，xml解析不过去，哪个大神可以解决一下。
Kettle学习资料大全.rar
12-01
5. 解决方案：包含了常见问题的解答和最佳实践，帮助你避免常见的陷阱和错误。 通过这些资源，无论你是初学者还是有经验的开发者，都能深入理解并熟练运用Kettle进行数据处理。在数据驱动的时代，掌握Kettle这样的...
Etl工具-kettle-spoon
04-25
它提供了一种图形化的界面，名为Spoon，让用户无需编程即可设计、测试和执行复杂的ETL工作流。Spoon是Kettle的主要开发和调试环境，支持离线和实时的数据处理任务。 ### 数据提取（Extract） 在ETL过程中，第一步...
Kettle数据库同步源码
08-14
在批量同步数据库表时，Kettle提供了工作流（Job）和转换（Transformation）两种主要操作类型。工作流负责控制整个流程的顺序，而转换则处理具体的转换逻辑。 在具体操作中，我们可以创建一个转换，设定输入步骤为...
SkyForm云平台基于Pentaho的报表实施方案.pdf
10-10
SkyForm云平台是一款由北京天云融创软件技术有限公司开发的企业级云计算解决方案，专注于提供数据分析和报表服务。本实施方案详述了如何在SkyForm V4.1版本中集成Pentaho来构建高效的报表系统。Pentaho是一款开源的...
【Kettle】 错误处理
℡華ゞ
11-17 8701
1.新建基本转换控件，这里便于方便，就建了2个 2.鼠标点中你想进行错误处理的控件，右键选择定义错误处理 3.在错误处理页面输入下列信息，诺执行中产生错误则会以下列字段显示 4。制定你计划中在产生错误后的处理步骤，连接选择错误处理步骤，我这里以产生错误什么都不做为例 5.要是你想输出错误日志到数据库中的表中，可以制定表输出错误处理步骤，建错误信息记录到表里面
kettle从入门到精通 第三十四课 kettle 错误处理
zhangjin1222的博客
01-28 1660
ERR_NAME` varchar(20) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '错误名称',`ERR_NUM` varchar(20) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '错误行',4、把错误信息入库是个不错的选择，方便后续排查问题且可以根据错误信息表进行邮件预警，如下图所示。
Kettle 运用中报错
hcq_lxq的博客
08-08 747
1.修改kettle配置文件/home/hadoopap/data-integration/system/karaf/system/pentaho-karaf-features/pentaho-big-data-plugin-osgi/8.0.0.0-28/pentaho-big-data-plugin-osgi-8.0.0.0-28-features.xml。kettle JOB 假死，需要到系统上面杀死进程。报错信息： JOB一直处理执行状态。
使用KETTLE表输入报错的问题
qq_42000432的博客
07-09 7750
前言 这是我第一次写博客，最近因为工作的原因，需要用到KETTLE，进行一些数据迁移的工作，初次使用，碰到了一些在我看来难以理解的问题，耽误了一些时间。所以写这个希望可以帮到后面使用的人。工作内容不能泄露，我用自己的电脑模拟出来场景。另外，我也是刚开始使用，希望大家能够一起讨论、进步，也希望有前辈们看到能指点我们。 问题 首先，正常的工作流程如下 把一个数据库中A表的数据迁移到B表中，正常流程是...
kettle中错误处理
lw18751836671的专栏
11-15 5676
目录 一、图文说明 二、 错误处理代码 上述的图片整体代码 三、扩展 图片说明 完整代码 一、图文说明 在如上图中，有定义一个tableOutputError，如果在select节点发生错误，那么就将进入此tableOutputError，将错误数据输出到表。 但是如果是tableOutput处发生了错误，那么就无法进行错误处理了，后面没有定义错误处理。 界面选择错误处理如下， 只有有定义错误处理选项的才能...
评论 15
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值