Kettle实现循环的两种方法

最新推荐文章于 2024-06-26 16:08:31 发布
最新推荐文章于 2024-06-26 16:08:31 发布
阅读量1.2w 收藏 6
点赞数
分类专栏： 数据整合/BI
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gladmustang/article/details/41819367
版权

Kettle实现循环有两种方式：

一种是在Job中引用 Transformation时，可通过设置Transformation 的高级属性（”执行每一个输入行”）来实现Transformation 的循环，具体例子可以参考下面的链接：

Kettle实现Transformation 循环及跳出


另一种方式是通过job中的"Evaluatiing Javascript" 和 "校验字段的值"两个控件实现循环， 具体例子可以参考下面的链接：

Kettle 作业步骤循环执行的实现  



gladmustang
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Kettle变量和参数介绍系列文章3-循环的轻松实现
m0_69586799的博客
09-21 3874
本文详细说明两种实现循环操作的方法，0编程经验的人也可以看懂，使用Kettle做数仓工具的可以看一下。
再谈kettle两种循环之-调用http分页接口循环获取数据
最新发布
06-26
本文将深入探讨“再谈kettle两种循环之-调用http分页接口循环获取数据”这一主题，旨在提供对循环Job、变量运用、调用HTTP分页接口、生成连续记录以及MD5加密等知识点的详细理解和实践指导。 首先，Kettle中的循环...
kettle另一种简单的循环方式
12-12
kettle循环从oracle源表分页读数据，写入oracle目标表。希望能对你做分页插入有所帮助！！！
Kettle实现循环有两种方式
HD243608836的博客
02-09 2542
Kettle实现循环有两种方式：一种是在Job中引用Transformation时，可通过设置Transformation 的高级属性（”执行每一个输入行”）来实现Transformation 的循环，具体例子可以参考下面的链接：Kettle实现Transformation 循环及跳出另一种方式是通过job中的"Evaluatiing Javascript" 和 "校验字段的值"两个控件实现循环，...
kettle学习总结（1）
thinkers
06-04 507
kettle本身是Java开发的开源项目，由于某种原因，目前官网已经不支持下载了，可到我的CSDN中下载。实现步骤分为三大块：定义一个入口 任务，该任务中涵盖 start、库表初始化(删除表及数据)、全量同步、结束。其中涉及到 数据表的自动创建 以及 数据的自动同步，这里以全量同步为例。假设现在有一个场景：需要将本地的所有库同步到目标服务器上对应的数据库中。2，一切准备就绪后就可以开始使用啦。3，main 任务脚本内容。1，kettle下载。
再谈kettle两种循环之--调用http分页接口循环获取数据
weixin_43398232的博客
06-26 1076
总结：循环的设计可以解决循环1内存溢出的问题，该设计关键在于需要在job中勾选GET_HOUSE_DATA转换的两个勾以及设置参数传递（Options 下的Execute every input row和Parameters下的Copy results to parametes）循环job可参考，变量运用可参考，调用http分页接口循环获取数据可参考，生成连续记录可参考，MD5加密可参考。表输入：这里采用数据库连接，运用sql的方式生成http接口调用信息，框出来部分是循环变量替换的关键设置。
循环驱动作业——kettle开发34
java程序员的蜕变之路
06-12 860
我们通过变量传参来完成某个日期的数据转换。但可能因程序或者网络原因导致某个时间段的数据抽取失败。常见导致kettle作业失败的原因大概分为三大类，数据源异常、数据库异常、程序异常。因此面对这些异常时，怎么快速恢复批量数据，就需要利用循环来处理，指定含条件的数据，如恢复2023年1月6日至2023年2月02日的数据等等。
KETTLE实现循环批量多表抽取添加字段
帝轻的博客
03-11 7387
场景：将kettle资源库抽取到另一个数据库中并输出抽取表单,(本文用的是MySQL).不废话直接发方法一1.总架构新建作业2.获取表的数量这步用到表输入和复制记录到结果字符串组件,其他可以获取表的组件也可以自由发挥3.执行表数量判断并设置变量,用到JavaScript组件JAVA代码如下:var prevRow=previous_result.getRows();if (prevRow == n...
1、kettle知识点系列之kettle的循环模式
weixin_44989103的博客
07-18 7368
这种模式是在我使用复杂模式后，我连接的资源库常常会因为这个循环导致速度慢、卡等问题，最后发现了这种模式。这种模式是在我解决问题的过程中自己写的，刚开始我使用简单模式处理场景需求，但是我的作业比较复杂，循环需要执行的地方是作业，作业中又有很多作业，作业中的转换又有。这是我个人做的一个循环demo作业，对于简单模式的循环，一般执行的循环体为转换，如果为作业，作业中不能有。组件，这样导致每次循环控制都是下标越界异常，最后发现是因为后续的复制记录到结果集覆盖掉了获取DB参数那里的结果集。（6）设置变量的使用。...
使用Kettle循环处理数据（方式二）
x²＋(y－√³x²)²＝1的博客
12-10 2616
接上文：使用Kettle循环处理数据（方式一），觉得流程比较繁琐，又琢磨到一种批量执行的方式。 下面是批量执行的全转换流程。目的是统计某一个库中前缀相同的表的数据量。 1、获取表名： 可以批量将某一个数据库下的所有表获取到。 2、过滤记录： 过滤表名前缀是 nic_newtrack 的表 3、公式： 使用 公式 组件，将表名拼接到需要执行的 SQL 语句中 公式 组件填写的详细信息： "insert into tablecount select '"&[tablename]&"',c
使用Kettle实现数据实时增量同步
热门推荐
dora_310的博客
05-30 10万+
0. 前言 本文介绍了使用Kettle对一张业务表数据（500万条数据以上）进行实时（10秒）同步，采用了时间戳增量回滚同步的方法。关于ETL和Kettle的入门知识大家可以阅读相关的blog和文档学习。 1. 时间戳增量回滚同步 假定在源数据表中有一个字段会记录数据的新增或修改时间，可以通过它对数据在时间维度上进行排序。通过中间表记录每次更新的时间戳，在下一个同步周期时，通过这个时...
Kettle实现步骤循环执行
10-26
标题中的“Kettle实现步骤循环执行”涉及到的是数据集成工具Pentaho Data Integration（简称Kettle或PDI）的一种高级用法，即如何在工作流（Job）或转换（Transformation）中实现步骤的循环执行。Kettle是一款强大的...
KETTLE实现嵌套循环.rar+代码
05-30
2. **Split Field to Rows步骤**：另一种方法是使用Split Field to Rows步骤，同样可以实现字段拆分。只需配置字段名（C_A），选择合适的分隔符（逗号），然后连接到后续的转换步骤，即可完成拆分。 3. **设计数据...
kettle另一种简单的循环
weixin_43398232的博客
12-12 559
kettle另一种简单的循环 案例是循环从oracle插入数据到oracle 一：表及表数据准备 源表名为：test_input 测试数据如图： select * from test_input; 目标表名为：test_output 执行kettle作业前无数据如图： select* from test_output; 二.job介绍 kettle简单的一个循环job设计如下： 循环job调...
Kettle 5.2中JavaScript代码插件的用法
gladmustang的专栏
11-30 8277
Kettle 中的 JavaScript代码插件使用了JDK1.6中对脚本语言的支持功能， Sun的JDK6实现包含了一个基于Mozilla Rhino的脚本语言引擎，支持JavaScript， Kettle中的用法和JDK1.6中的用法是一致的， 唯一不同的是在jdk环境中写代码的话， 需要使用JDK Scripting API显示 执行js代码（js代码被放在一个String里）； 而在这个插
mondrian schema文件：中文读取乱码并出错 的解决
gladmustang的专栏
12-02 2002
本文针对的是Mondrian3.5.0版本出现的中文乱码问题做些修改，使用的是官方mondrian-3.5.0.zip       官方下载地址：http://sourceforge.net/projects/mondrian/files/mondrian/mondrian-3.5.0/ 。       解压mondrian.war到Tomcat运行的时候查询结果会出现乱码，可在项目的web.
OLAP简介及Mondrian快速入门
gladmustang的专栏
12-02 1642
OLAP简介及Mondrian快速入门    OLAP（On-Line Analysis  Processing）在线分析处理是一种共享多维信息的快速分析技术；OLAP利用多维数据库技术使用户从不同角度观察数据；OLAP用于支持复杂的分析操作，侧重于对管理人员的决策支持，可以满足分析人员快速、灵活地进行大数据复量的复杂查询的要求，并且以一种直观、易懂的形式呈现查询结果，辅助决策。 上面是
kettle 循环
08-24
Kettle实现循环有两种方式。一种是通过在Job中引用Transformation时，设置Transformation的高级属性来实现循环。具体可以通过设置Transformation的高级属性"执行每一个输入行"来实现循环。另一种方式是通过在Job中使用"Evaluating JavaScript"和"校验字段的值"两个控件来实现循环。具体实现方式可以参考文档中的链接。 在Kettle中实现循环主要涉及循环变量的初始化、判断条件和计数器的累加。例如，可以通过从表中或文本中读取每一行数据进行循环。初始化参数部分可以使用JS脚本来获取前一个转换传递的值。可以使用"previous_result.getRows()"来获取上一个转换传递的结果，即数据库查询结果集或文本结果集对象。判断结果集的数量是否为0，如果为0则返回false，否则进行变量的初始化，例如存储表名变量、执行表的总数量和循环控制变量等。 总的来说，Kettle可以通过设置Transformation的高级属性或使用JavaScript脚本来实现循环。具体实现方式可以根据具体的需求和场景选择合适的方法来实现循环。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [Kettle实现循环的两种方法](https://blog.csdn.net/gladmustang/article/details/41819367)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *2* *3* [kettle中如何实现循环](https://blog.csdn.net/hcq_lxq/article/details/120079963)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值