kettle
文章平均质量分 66
xxz_phoebe
流水不争先,争的是滔滔不绝
展开
-
Kettle实现对源数据已删除但历史同步到的数据进行打标
结果:通过取两个表的唯一主键数据,通过排序合并(排序合并是必须的)用记录集连接,将数据left join,然后再通过过滤记录,筛出关联值为null的主键,作为参数穿给,执行SQL脚本,进行数据删除。当我同步到B库B表的数据,根据业务情况,不能做数据删除时,如何解决增量同步时由于上游物理删除产生再库里的“历史脏数据”,解法---对数据打标记falg ,对数据打标如何实现?通过Kettle实现ETL将A库A数据同步到B库B表,但是业务数据有物理删除,再B库B表中想要和A库A表数据一致。原创 2022-09-29 18:20:36 · 1705 阅读 · 0 评论 -
KETTEL-Can‘t run transformation due to plugin missing
问题异常:2022/03/22 15:04:58 - JSON input.0 - ERROR (version 8.3.0.0-371, build 8.3.0.0-371 from 2019-06-11 11.09.08 by buildguy) : Can't run transformation due to plugin missing[ERROR][2022-03-22T15:04:58.073+0800][init of JSON input.0 (Thread-87)] org.pe原创 2022-03-22 16:00:41 · 4925 阅读 · 0 评论 -
kettle工具使用JavaScript+JAVA+httpClient
目的:使用kettle工具实现从动态传参调用HTTP接口获取数据,经过java对数据进行处理,同步到mysql数据库中步骤示意图如下:步骤一:生成记录,用于放置url域名步骤二:JavaScript脚本,用于处理动态url或者参数动态日期js代码//Script herevar date = new Date();var year = date.getFullYear(); var month =(date.getMonth() + 1).toString(); .原创 2022-03-17 14:49:18 · 2386 阅读 · 1 评论