Kettle(PDI)中在job中循环使用上一个转换的结果

最新推荐文章于 2022-11-11 13:00:00 发布
最新推荐文章于 2022-11-11 13:00:00 发布
阅读量661 收藏
点赞数
分类专栏： Java Web开发 大数据与人工智能 文章标签： 大数据 java kettle pdi
转载注明出处
本文链接：https://blog.csdn.net/qq_15973399/article/details/117810886
版权
本文介绍了如何在Kettle（PDI）的JOB中利用JavaScript步骤循环使用前一个转换的输出数据。首先，通过previous_result.getRows()获取数据列表，然后用parent_job.setVariable()设置变量。在检查字段步骤中，判断索引和数据列表大小以确定循环条件，JavaScript 2用于更新索引。示例提供了详细的操作流程和下载链接。
摘要由CSDN通过智能技术生成

需求

一个转换获取了一组数据，后续转换需要根据此转换的每一行进行后续操作。

示例

转换1

此抓换提供了一组数据
在这里插入图片描述
元数据
在这里插入图片描述
数据
在这里插入图片描述

转换2

此转换需要循环换取上一个转换的数据
在这里插入图片描述

数据
在这里插入图片描述
获取字段
在这里插入图片描述

定制文件
在这里插入图片描述

JOB

在这里插入图片描述

JavaScript
var prevRow=previous_result.getRows();
if (prevRow == null &&(prevRow.size
最低0.47元/天 解锁文章
「已注销」
关注
专栏目录
Java获取kettle转换的结果集
08-09
Java获取kettle的结果集
kettle 转换命名参数从将上一转换的参数传递到下一转换中
ispringmw的博客
09-18 6211
kettle 转换命名参数从将上一转换的参数传递到下一转换中 1.知识点 1）如何将转换中的行记录传递到job（结果）中。 2）如何使用转换的命名参数功能获取到上一转换中的参数。 2.需求及实现 1）需求： ​ 如下图所示在转换1中将转换中的结果值传递到作业中，通过转换2的转换命名参数设置接收来自job中的值并将其设置为参数传递到转换2的内部。 2）实现： 实现将转换1中的结果值从转换传递到job中。 从表输入中获取值，通过组件复制记录到结果将表输出查询到的结果发送到job作业流中。 通过转换
Kettle循环获取结果集中的数据并传入转换里面
01-08
1. Kettle循环获取结果集并传入转换里面 是Kettle循环转换（t1.ktr）中的结果集，放到转换2（var.ktr）中，输出到本地txt文件中 1.1 job j1.kjb JavaScript var prevRow=previous_result.getRows();//获取上一个传递的结果 if (prevRow == null &&(prevRow.size()=0)) { false; }else{ parent_job.setVariable(tables, prevRow);//ArrayList存储表名变量，以数组形式保存入table1，tabl
KETTLE 批量处理，转换命名参数将上一转换的结果传递到下一转换中
亮大大的博客
10-17 1893
KETTLE 批量处理，转换命名参数将上一转换的结果传递到下一转换中
kettle循环取结果集进行处理方法一(使用js)
weixin_44135544的博客
12-11 6724
需求 循环取结果集中的一行，再根据单个结果进行处理 此处实例：从test库取id字段结果集，存储（id,2 x id）到set_value表中 前提 test表： set_value表： 具体步骤 第一步： 新建转换get_id_rows: 第二步： 新建作业： 按图所示连接各个组件 第一个js： var prevRow=previous_result.getRows(); # 获取上一步...
kettle另一种简单的循环方式
12-12
例如，可以创建一个JavaScript步骤，计算总页数，并在Job中使用"Start"和"Jump to step"步骤来控制循环。每次循环结束时，更新查询的页码，然后再次调用"Table Input"步骤获取下一批数据。 3. **数据写入**：处理后...
Kettle循环遍历结果集.zip
03-26
本示例中的"Kettle循环遍历结果集.zip"是一个针对Kettle8.2版本设计的实战案例，展示了如何在Job中实现这一功能并将输出写入日志。 首先，理解Kettle中的Job与Transformation的区别至关重要。Job是Kettle的工作流，...
Kettle TableInput 将从前一步骤获取参数整合到数据流中
maenlai0086的博客
01-30 2715
1 测试环境 Kettle 版本 5.0  数据库 Oracle 11g R2  Eclipse 2 第一种方式处理 如上图所示，采用记录关联步骤，实现前一步骤和tableInput步骤数据流整合在一起，但是这样处理一个局限性，就是tableInput步骤前一步骤查询的结果值有且只有一行时，数据流才是正确，因为这个方式采用了笛卡尔积进行数据关联。 3 第二种方式处理 对tableInput...
Kettle的第二个实践--数据获取并转换
jiangtie的专栏
03-05 226
Kettle的第二个实践--数据获取并转换 需求： kettletest1数据库中有table_source数据表，结构如下： [code="java"] Id 主键 t_id 数据时间 part_id 实例ID yg 数据字段1 wg 数据字段2 ...
Excel导入数据库，使用PDI
扶摇而上九万里
06-01 792
Excel 工具 导入 Excel工具导入1.下载PDI(PDI(Kettle) 是一款开源的、元数据驱动的 ETL (数据的抽取、转换、加载)工具，是开源 ETL 工具里功能比较强大的一个)https://sourceforge.net/projects/pentaho/files/Data%20Integration/7.1/pdi-ce-7.1.0.0-12.zip/download2.把m...
Kettle循环遍历结果集作为参数传入转换.zip
03-26
Kettle8.2做的，Kettle循环获取转换中的结果集传递到下一个转换中，并最终输出到txt文档
Kettle循环遍历结果集作为参数传入转换
11-19
Kettle8.2做的，Kettle循环获取转换中的结果集传递到下一个转换中，并最终输出到txt文档
kettle使用job变量实现循环例子
07-18
kettle通过在job中变量来实现循环的例子：首先从文本文件读取表名，然后循环一个个表读取数据，其中最开始的文本文件输入表名可以改为从其他地方输入（比如表输入，网络请求等）
JAVA运行Kettle的JOB或者转换的总结
qq_38625056的博客
10-10 1001
第一步，连接资源库 本例采用的是单例设计模式，这样做的优点是如果资源库已经连接，则不必重新连接 下面直接上代码 package com.qm.util; import java.io.File; import java.io.IOException; import org.jeecgframework.core.util.PropertiesUtil; import org.pentah...
kettle获取上一步骤的参数并执行表输入
10-30 8393
假设场景：需要定时获取增量数据，并交换到其他库，需要先获取本地库最大的编号后，把该参数传递到第三方后查询增量数据。 1、 整体流程 2、表输入：用来查询本地数据库最大的已同步编号，需要把参数maxId传递到下一步骤 3、表输入组件接受参数 ...
【kettle】如何将上一步查询或解析出来的值作为下一步要执行的条件
哟，你又在偷偷写bug！
03-25 7976
1、在核心对象 -> 转换 -> 字段选择，选择字段选择后，编辑字段选择，其中字段名称即为传入下一步的条件，注意：该字段名称顺序会影响下一步的条件 2、“？” 号代表上一步传入的条件，第一个“？” 代表上一步第一个字段名称，第二个“？” 代表上一步第二个字段名称，依次类推。注意：如果有这样的验证操作，一定要加个count，如果不加，这条数据没有查询到，那么就不会往下执行了 ...
第五章Kettle数据的清洗与检验
最新发布
qq_56941108的博客
11-11 1268
Kettle实现完全去重Kettle实现缺失值填充
Kettle循环获取结果集
stormkai的专栏
03-26 6911
1. Kettle循环获取结果集 1.1 效果图 job（j1.job） t1（t1.job） 1.2 转换介绍 自定义常量数据 写日志 点击 获取字段 会获取上一步 自定义常量数据 中的 元数据 。将其在运行中作为日志输出 复制记录到结果集 把自定义常量记录复制到结果集。然后在job中循环获取 1.3 job介绍 转换 JavaScript var...
Java调用执行Kettle的Transformation与Job指南
"Java调用执行Kettle的transformation和job是通过Kettle的Java API实现的，这允许开发者在Java应用程序中集成ETL（提取、转换、加载）流程。Kettle，又称Pentaho Data Integration (PDI)，提供了一套强大的工具集，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值