ETL工具kettle批量插入数据异常或kettle批量提交数据不完整

最新推荐文章于 2024-09-20 14:22:42 发布
最新推荐文章于 2024-09-20 14:22:42 发布
阅读量8.5k 收藏 6
点赞数 3
分类专栏： 工具使用 文章标签： Io 异常: Software caused connection a ORA-01013: 用户请求取消当前的操作 ORA-12592: TNS: 包错误 无法从套接字读取更多的数据 kettle批量处理数据不完整
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/luckjump/article/details/88027193
版权

ETL工具kettle批量插入数据异常情况

众多的Etl工具中，kettle是一个不是特别稳定的一个工具，不是特别建议使用，那么在使用kettle进行数据转换时，经常会出现的一个问题：批量数据插入目标库时，会中途异常，导致插入目标库不全，并且报的错主要有三类，如下图片。
此问题十分恶心，这四类错误是随机报出来的，总共才同步个几万条记录，.bat运行十次中，大概有4次会出现以下四种报错的一种，剩下的6次确实运行正常运行结果是完全正确的。这是不是很神奇的现象呢？
第一种：ORA-01013: 用户请求取消当前的操作
ORA-01013: 用户请求取消当前的操作

第二种：ORA-12592: TNS: 包错误
ORA-12592: TNS: 包错误
第三种：无法从套接字读取更多的数据
无法从套接字读取更多的数据
第四种：ava.sql.SQLException: Io 异常

最低0.47元/天 解锁文章
luckjump
关注
专栏目录
kettle的【阻塞数据】、【阻塞数据直到完成】、【执行SQL脚本】
weixin_33946020的博客
09-05 2491
kettle转换中的各个组件是并行的关系，job中是有先后顺序的，这样就可能会遇到一种情况——我想在某个步骤完成后再执行下面的步骤，这时该怎么办呢？那么这时就可以用到【阻塞数据】和【阻塞数据直到完成】两个组件；【阻塞数据】：这个组件只允许前一个步骤的最后一条数据通过，这个往往和【执行SQL脚本】组件 并用；【阻塞数据直到完成】：这个组件会将所设置的被阻塞步骤的所有数据堵住，当被阻塞的...
ETL之kettle基础-PPT讲解
08-21
【ETL技术与Kettle详解】 ...总之，ETL中的Kettle是一个功能强大的工具，适用于那些希望对数据进行有效管理和处理的1-3年经验的研发人员。通过深入学习，你可以提升自己的数据处理能力，为企业的数据分析提供有力支持。
Kettle Spoon 解决源数据表与目标数据表不一致问题
pathconquer的博客
06-01 2508
不一致问题可以分为以下几种： 问题1：源数据表比目标数据表多了一些字段（即列） （1）出现的原因： （2）解决方案：
Kettle的安装及简单使用
最新发布
a_black03的博客
09-20 3348
1、什么是kettleKettle是一款开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。2、Kettle工程存储方式（1）以XML形式存储（2）以资源库方式存储(数据库资源库和文件资源库)3、Kettle的两种设计4、Kettle的组成5、kettle特点。
kettle实例--数据转换-不一致数据的转换
fxxhmn的博客
10-25 1829
在“第一个步骤”处的下拉框中选择“字段选择”控件，“第二个步骤”处的下拉框中选择“表输入3”控件，用于将“字段选择”控件流中的数据与“表输入3”控件流中的数据进行合并连接；在“第一个步骤的连接字段”和“第二个步骤的连接字段”处添加连接字段，这里添加的连接字段是brand、model，用于将“字段选择”控件流中的字段brand、model与“表输入3”控件流中的字段brand、model进行连接；双击“表输入”控件，进入“表输入”配置界面，具体如图所示。双击“表输入2”控件，进入“表输入”配置界面。
Kettle（三）数据写入错误如何处理？
king的专栏
01-31 4513
Kettle作为数据治理工具，总是会涉及到数据的搬迁，在原始数据过大、种类过多时写入肯定会出现一些错误（缺少必填项、数据格式错误、主键冲突等等），那么Kettle如何解决？其实Kettle与我们自己写程序的思维不会有本质性的差别，因此我们常见的处理方式基本上都可以得到解决。基本上我们常规的解决办法：阻断执行、忽略错误继续执行、记录错误数据。1.阻断执行Kettle的默认执行方式，不做任何异常处理即为阻断执行逻辑，不做太多赘述。2.忽略错误继续执行。
kettle实例-异常值处理-修补异常值
fxxhmn的博客
10-11 2336
1.通过使用Kettle工具，创建一个转换fill_unusual_value，并添加“表输入”控件、“过滤记录”控件、“空操作（什么也不做）”控件、“设置值为NULL”控件、“合并记录”控件、“替换NULL值”控件、字段选择控件以及Hop跳连接线。在“发送false数据给步骤：”处的下拉框中选择“空操作（什么也不做）”，将异常值放在“空操作（什么也不做）”控件中。在“旧数据源：”处的下拉框选择“设置为NULL值”，“新数据源：”处的下拉框选择“空操作（什么也不做）2”；
数据预处理之文件转换kettle：异常数据分流
weixin_45116412的博客
11-01 1036
【实验目的】 利用Kettle的“Excel输入”，“表输出”，“Microsoft Excel 输出”组件和“Error handing of step”跳，实现异常数据的分流。 【实验原理】 通过“Excel输入”读入表格的记录，其中，日期格式为多种格式的。然后通过“表输出”保存日期格式正确的记录，再通过“Error handing of step”跳和“Microsoft Excel 输出”组件，把日期格式不正确的记录输出到Excel表格。 【实验步骤】 一、创建转换 1．点击，在下拉菜单
kettle实例-异常值处理-删除包含异常值的记录
fxxhmn的博客
10-11 1350
在“条件”处设置过滤的条件，由于文件temperature.txt中time为6：30的温度是137摄氏度，不在非异常值的范围内，因此属于异常值，我们应该将过滤字段设置为temperature、过滤值为137。在“发送false数据给步骤：”处的下拉框中选择“空操作（什么也不做）”，将非异常值放在“空操作（什么也不做）”控件中。先单击【浏览】按钮，选择要去除异常值的文件temperature.txt，然后单击【增加】按钮，将要去除异常值的文件temperature.txt添加到“文本文件输入”控件中。
开源ETL工具kettle实战gbase8s数据迁移
07-24
开源ETL工具kettle实战gbase8s数据迁移
ETL工具-kettle9.3环境部署+数据迁移实操
02-27
ETL工具-kettle9.3环境部署+数据迁移实操 Kettle 是一款开源的、纯 Java 编写的、跨平台的、绿色版无需安装的 ETL 工具，数据抽取高效稳定。下面是对 Kettle 环境部署和数据迁移的详细说明： 一、Kettle 结构分为...
kettle连接Oracle报错
12-14
kettle连接Oracle报错kettle连接Oracle报错报错信息 kettle连接Oracle报错 报错信息 错误连接数据库 [aaa] : org.pentaho.di.core.exception.KettleDatabaseException: Error occurred while trying to connect to the database Error connecting to database: (using class oracle.jdbc.driver.OracleDriver) Listener refused the connection with th
ETL工具Kettle用户手册及Kettle5.x使用步骤带案例超详细版
08-01
- Spoon不仅仅是一个ETL工具，它还是一个完整的开发环境，用于创建、测试和调度数据集成解决方案。 - 它支持多种数据源，包括数据库、文件、Web服务等，并且可以处理各种数据格式，如CSV、XML、JSON等。 2. **...
解读当前企业在数据集成方面遭遇的四大挑战
weixin_34209406的博客
05-17 317
2019独角兽企业重金招聘Python工程师标准>>> ...
使用KETTLE表输入报错的问题
qq_42000432的博客
07-09 7702
前言 这是我第一次写博客，最近因为工作的原因，需要用到KETTLE，进行一些数据迁移的工作，初次使用，碰到了一些在我看来难以理解的问题，耽误了一些时间。所以写这个希望可以帮到后面使用的人。工作内容不能泄露，我用自己的电脑模拟出来场景。另外，我也是刚开始使用，希望大家能够一起讨论、进步，也希望有前辈们看到能指点我们。 问题 首先，正常的工作流程如下 把一个数据库中A表的数据迁移到B表中，正常流程是...
KETTLE大批量提交数据时出现丢失问题
cakecc2008的专栏
07-18 7191
之前在做ETL是，表输入控件中，设置批量提交，并且将【提交记录数】设置为10万，脚本正常执行完，没有报然后错误，但是目标表的数据行数只有源表的三分之一左右，出现了数据莫名丢失的情况，在交流群中求助，也没有谁能解答，百思不得其解。 一次偶然的机会，在网上看到关于oracle的jdbc驱动，比较ojdbc6.jar与ojdbc14.jar的区别。提到ojdbc14.jar存在的一些bug，批量插入1
kettle执行更新/插入操作后没有数据的问题
na20150527的博客
02-28 6357
今天遇见了kettle执行"更新/插入"操作过程非常顺利,没有任何异常,但是目标库中取不到数据问题 试了好多种方法均无效果 设置"插入/更新"组件中的update选项为N 未取到数据 设置"插入/更新"不执行任何更新勾选 未取到数据 解决方式:使用"表输出"组件替换掉"插入/更新"组件,在表输入组件中,修改时间节点where条件为DATEDIFF(day,brushtime,...
Kettle——表输出步骤异常处理方式探究
热门推荐
真正的错误是，当你知道应该如何去提高时仍然选择做一名初学者！
01-17 1万+
在使用开源ETL工具Kettle定义转换时，为了保证transformation脚本的健壮性，我们会在关键的步骤上进行异常捕获处理。 kettle工具的transformation中的多数步骤都是支持定义错误处理的。因TableOutput涉及数据库事务，所以本篇文章以TableOutput步骤来探究kettle异常处理的方式。文章中难免错在遗漏和错误之处，敬请谅解。1 测试环境2 普通方
kettle clob大量文本输出
why_00的博客
06-04 6792
近来在工作中遇到了一个问题，就是表输入以colb字段（每一行每一个字段差不多1M左右），最后文本文件输出每一行的colb字段，由于字段本身比较大，要输出的文件有28w个之多kettle的机制是每8k作为一个流进行输出，造成在文本输出时每8k的输出，而不是完整的colb输出，（如果数据量小，倒没什么明显的影响，但是这里有28w行的数据，在文本展现的时候会有的文本输出不全面）这样在某个时间点停止作业，
Kettle ETL工具用户手册：数据转换与操作详解
Kettle是一款强大的开源ETL（Extract, Transform, Load）工具，它的设计理念是提供一套灵活的数据集成解决方案，让用户能够方便地从各种数据源抽取数据，进行清洗、转换，并加载到目标系统中。Kettle的核心组件包括...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

luckjump

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值