kettle执行更新/插入操作后没有数据的问题

最新推荐文章于 2024-05-04 21:15:43 发布
最新推荐文章于 2024-05-04 21:15:43 发布
阅读量5.9k 收藏 4
点赞数
分类专栏： kettle 文章标签： etl
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/na20150527/article/details/104555439
版权

今天遇见了kettle执行"更新/插入"操作过程非常顺利,没有任何异常,但是目标库中取不到数据问题
试了好多种方法均无效果

  1. 设置"插入/更新"组件中的update选项为N 未取到数据
  2. 设置"插入/更新"不执行任何更新勾选 未取到数据在这里插入图片描述
    解决方式:使用"表输出"组件替换掉"插入/更新"组件,在表输入组件中,修改时间节点where条件为DATEDIFF(day,brushtime,GETDATE())=0 重点是等于"0",之前没有通不过去的原因为目标表中已经存在此条数据,id冲突导致插入失败,但是并无报错,贴出来备忘,同时提醒其他因此问题困扰的同学,避免踩坑(此问题调试耗时2小时)
Xrina
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
kettle合并记录处理同表数据更新等操作
12-06
kettle合并记录处理同表数据更新等操作.doc
kettle数据抽取、数据清洗、数据装换， 作业根据时间戳更新插入数据完整demo
12-30
kettle数据抽取、数据清洗、数据装换， 作业根据时间戳更新插入数据完整demo 1、先获取时间戳 2、删除目标库大于时间戳的 3、数据同步，获取源表跟目标表大于时间戳的，比较， 目标表多的删除， 少的插入更新 4、更新时间戳
使用Kettle同步mysql数据，增量同步教程执行步骤
10-24
使用Kettle同步mysql数据，增量同步,两个数据库数据同步
数据预处理之文件转换kettle：没有数据流入时停止操作
weixin_45116412的博客
10-30 2148
【实验目的】 利用Kettle的“阻塞数据直到步骤都完成”，“检测空流”，“中止”等组件，实现Kettle转换流程的控制。 【实验原理】 “检测空流”组件可以检测所在转换的输入数据，如果整个转换没有输入数据，通过“中止”组件终止整个转换的流程。 在存在数据输入的情况，为了能让数据输出，需要和“阻塞数据直到步骤都完成”配合使用。当所有数据都已经从上个步骤“字段选择”读取完毕后，通过“阻塞数据直到步骤都完成”使能打开数据通道，进入到“Microsoft Excel 输出”输出数据到表格。 【实验步骤】
《数据清洗》黑马程序员 第五章课后作业
黄橙子的博客
10-11 1107
四.操作题 通过Kettle工具，实现以下功能 1.对merge.csv文件进行完全去重 （1）通过使用Kettle工具，创建一个转换transformation，并添加“CSV文件输入”控件、“唯一行（哈希值）”控件以及Hop跳连接线，具体如图所示。 (2)双击“CSV文件输入”控件，进入“CSV文件输入”配置界面，单击【浏览】按钮，选择要进行完全去重处理的CSV文件merge.csv；再单击【获取字段】按钮，Kettle会自动检索CSV文件，并对文件中的字段类型、格式、长度、精度等属性进行分析。 (
关于kettle作业执行问题
m0_59147015的博客
08-04 5820
kettle作业包含60个转换，新建时手动执行没问题，前两次定时执行也没问题，但是过了一天手动和定时执行都有问题，再次新建任务执行有没问题，但是多次执行后又有问题。
kettle spoon运行正常，却无法同步数据时解决。
Yeomer的博客
06-17 3280
前言： 以鄙视自己的心情写这篇文章，因为被一个很小的问题，卡了几个小时，解决完才觉得自己好二啊。。。 希望能帮其他朋友不要踩坑。 故事开始： 接到一个需求，要从集团人事系统接数据到我们这边使用，是从关系型数据库到关系型数据库，那就用ETL取数呗，公司这边呢，用ETL开源工具kettle，调度kettle脚本有单独的平台，只需要开发ktr脚本就行，so，搞个kettle旗下spoon可视化界面开发很...
利用Kettle进行数据同步（下）
A_991128a的博客
02-07 216
笔者分两篇文章介绍了如何利用kettle进行数据同步，并实现一个简易的系统，降低操作成本和出错率。就介绍到这了，如有疑问，可以留言。
Kettle（三）数据写入错误如何处理？
king的专栏
01-31 3553
Kettle作为数据治理工具，总是会涉及到数据的搬迁，在原始数据过大、种类过多时写入肯定会出现一些错误（缺少必填项、数据格式错误、主键冲突等等），那么Kettle如何解决？其实Kettle与我们自己写程序的思维不会有本质性的差别，因此我们常见的处理方式基本上都可以得到解决。基本上我们常规的解决办法：阻断执行、忽略错误继续执行、记录错误数据。1.阻断执行Kettle的默认执行方式，不做任何异常处理即为阻断执行逻辑，不做太多赘述。2.忽略错误继续执行。
kettle对数据分表插入
06-01
kettle对数据分表插入 数据库Oracle etl工具 kettle 通过java脚本，hash算法，实现分表数据写入
系统操作日志(Kettle数据集12).xls
11-15
用于Kettle数据整合与处理的数据集(12)
Kettle增量插入更新所有数据都拒绝情况处理
weixin_33980459的博客
05-27 2903
在使用Kettle抽取数据，我发现一个平时正常跑的转换，突然不正常了。他增量查询没问题，但是到插入更新的那一步，所有数据都拒绝，而且报错看不出什么。 经过排查，所有的写的步骤都是正确的，但是就是不进库。后来，我把所有的步骤重新新建，然后就可以了！！！再后来，我又遇到这种情况，然后把增量查询的sql重新复制，粘贴进去，再保存一下，也正常进库了。可能是kettle识别有问题把？？ 转载于:https...
kettle中javascript步骤错误处理
neweastsun的专栏
10-23 5844
举例说明kettle中javascript步骤的错误处理功能。
【ETL工具】kettle 程序报错 Javascript error: TypeError: Cannot call method “trim“ of null
康师傅没有眼泪
03-05 2516
2021/03/05 10:17:58 - 设备通道最后上报时间更新.0 - Finished processing (I=0, O=0, R=17253, W=17253, U=0, E=0)2021/03/05 10:17:58 - 记录集连接 3.0 - Finished processing (I=0, O=0, R=38614, W=50469, U=0, E=0)
kettle无法更新数据库字段解决办法
qiu_spring的博客
10-25 1503
刚开始使用kettle，遇到一个问题， 在编写一个转换流程时，如果所操作的表字段名发生了变化（例如表student中id变更问userid），但是在kettle中使用时仍然显示是id，如下图, 此时清空数据库缓存即可：Clear complete DB Cache ...
ETL工具kettle批量插入数据异常或kettle批量提交数据不完整
luckjump的博客
02-28 8216
ETL工具kettle批量插入数据异常情况 众多的Etl工具中，kettle是一个不是特别稳定的一个工具，不是特别建议使用，那么在使用kettle进行数据转换时，经常会出现的一个问题：批量数据插入目标库时，会中途异常，导致插入目标库不全，并且报的错主要有三类，如下图片。 此问题十分恶心，这四类错误是随机报出来的，总共才同步个几万条记录，.bat运行十次中，大概有4次会出现以下四种报错的一种，剩下的...
kettle入门插入/更新不更新问题
qq_31811375的博客
05-24 5778
是不是所有步骤都没有错，也点击运行了，但是更新的数据就是没有更新，只插入了新的数据，那么不要急，看下图：把不执行任何更新的勾去掉就行了； ...
银行ETL-监管报送
最新发布
qq_16570607的博客
05-04 487
1104报表主要包括：资产负债，表外业务、流动性风险、贷款质量、投向行业和地区、重点客户等。按照数仓分层思想，分为ods贴源层、dw主题层、mid维表层、dm集市层、app应用层。事务型实时表（交易流水，操作日志）：数据量大且不变，每日增量表，每日创建一个分区存储。周期型事实表（订单，请假等）：用每日新增和变化表，制作一张拉链表。数据仓库经历三个阶段：简单报表阶段、数据集市阶段、数据仓库阶段。维度表（订单状态，审批状态，商品分类）：每日全量。实体表（用户，商品，商家）：每日全量。普通报表、机构特色类报表。
kettle插入更新完成 数据库没有添加相关数据
06-09
如果在Kettle中执行了插入或更新操作，但是发现在数据库中没有添加相关数据，可能有以下几个原因： 1. 数据源的问题：可能是输入数据源的数据格式不正确、数据源中的数据被修改或删除等。 2. 转换过程的问题：可能是转换过程中出现了错误，比如某个步骤的配置有误，或者某个步骤的输出字段没有正确映射等。 3. 数据库连接的问题：可能是数据库连接配置有误，比如数据库连接字符串、用户名或密码错误等。 解决这些问题的方法可能有所不同，需要具体问题具体分析。一些常见的方法包括：检查输入数据源的数据格式和映射、检查转换步骤的输出字段是否正确映射、检查数据库连接配置是否正确等。同时，也可以在转换过程中添加一些调试信息，以便更好地了解转换过程中出现的问题。 如果以上方法都没有解决问题，您可以尝试在Kettle中使用"Table output"步骤或者"Execute SQL script"步骤，手动执行插入或更新操作，看看是否会出现错误信息。如果出现错误信息，根据错误信息来调整配置或者修复数据源。如果没有出现错误信息，可以尝试在数据库中查询相关数据，看看数据是否已经被成功添加或更新。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值