Kettle转换中执行自定义SQL及传递参数

最新推荐文章于 2024-06-14 21:39:55 发布
最新推荐文章于 2024-06-14 21:39:55 发布
阅读量9.8k 收藏 11
点赞数 2
分类专栏： ETL 文章标签： sql 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42668789/article/details/106636451
版权

Kettle中执行自定义SQL

一：直接执行SQL语句的情况

！！！！！！注意在转换中，不论SQL脚本放在什么位置，都会先执行SQL脚本。除非设置单独执行每一行，见下方：
在这里插入图片描述

二：传递参数，执行SQL脚本

  1. 确定数据来源 ，表输入到执行SQL语句；在这里插入图片描述
  2. 编写表输入SQL，并勾选替换SQL语句中的变量选项

在这里插入图片描述
3.编写要执行的SQL脚本，在需要使用参数的地方写 ‘?’ ,并勾选下方执行每一行和变量替换选项，再在参数栏中根据上方需要参数的顺序下拉选择。顺序一定不能错!!在这里插入图片描述
最后：Job的sql脚本不受影响！！

犬夜叉猹
关注
  • 2
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Kettle实现动态SQL
coolmsn8786的博客
09-15 716
Kettle是一种开源的ETL工具 需求: 每天新建一个日志表,使用Kettle导出最新一天的数据。 模拟环境如下 create table tab_20140901 (id varchar(20)); creat...
利用kettle的自定义java给sqlserver复制表
12-04
利用kettle的自定义java给sqlserver复制表...................................
Kettle转换中SQL中的执行顺序（使用 阻塞数据直到步骤都完成 ===》控制转换中的 SQL执行顺序）
康师傅没有眼泪
06-10 6282
为什么会用到这个组件 我就是想着转换串行的执行，根据时间戳增量的同步，作业一开始我就获取当前的时间戳，kettle 完成数据之后，再执行时间更新操作，更像是动态的把时间向前推，因为作业执行也需要时间，公司传感器收集的数据会MySQL，数据几分钟刷新一次，不想丢失数据，也不能重复，尽可能保持数据一致性。 kettle中转换和作业的执行顺序： 1、一个作业内的转换，是顺序执行的。 2、一个转换内的步骤是并行执行的。 3、作业内不支持事务，转换内支持事务。 根据业务需要，...
Kettle 传参(参数)的使用
最新发布
weixin_68547003的博客
06-14 406
Kettle 传参(参数)的使用
kettle从入门到精通 第六十四课 ETL之kettle kettle中执行SQL脚本步骤，使用需当心
zhangjin1222的博客
06-03 817
上图可以清晰的看到写日志two可执行了两次，那是因为执行SQL脚本也执行了两次，同时前置步骤的中的name字段也可以正常打印了。看过源码的应该了解执行SQL脚本步骤肯定是根据是否执行每一行参数来决定是在init还是在processRow方法中执行。根据上图日志可以清楚的看到写日志two步骤只执行了一次，因为它的前置步骤执行SQL脚本也只执行了一次。3、执行SQL脚本中的执行每一行不进行勾选，表示此步骤只在初始化阶段执行一次。4、执行SQL脚本中的执行每一行勾选，表示对步骤接收的每一行输入执行一次。
kettle 参数变量在SQL语句中使用
ct512088983的博客
06-19 6151
之前在kettle中使用过把数据库连接的一些值使用参数代替，从而可以动态指定连接库信息。而这次要把参数用到SQL语句中，我只记得当时用数据库连接的时候，引...
kettle mysql 参数,Kettle集群及Mysql参数调整
weixin_34697150的博客
03-16 416
《Kettle集群及Mysql参数调整》由会员分享，可在线阅读，更多相关《Kettle集群及Mysql参数调整(10页珍藏版)》请在人人文库网上搜索。1、1 Kettle 集群Kettle支持集群，以下只是简单介绍下，没有具体深入,后期需要做几个实际例子实践下。1.1集群介绍集群允许转换以及转换中的步骤在多个服务器上并发执行。在使用 kettle集群时，首先需要定义的是 Cluster schem...
kettle中实现动态SQL查询
热门推荐
neweastsun的专栏
09-15 5万+
详细说明kettle中两者方式实现动态查询，分别是占位符和变量方式，示例使用H2数据库，方便学习。
kettle 参数——变量参数和常量参数
archer的技术故事
04-01 2万+
kettle 参数——变量参数和常量参数 kettle中经常需要对sql语句进行处理，处理的时候免不了需要传递参数。下面就介绍一下kettle传递参数的两种方式，一种是常量传递，一种是变量传递。 好，下面上货。 一、首先介绍常量传递参数。 常量传递参数需要用到下面的组件： 这个组件的位置是在输入中。 双击设置自定义数据的名称和数据，然后使用线连接到下一个步骤即可
kettle实现多参数传递并且循环加载数据.zip
08-31
多参数传递意味着在执行Kettle作业或转换时，需要传递多个参数值。这可能涉及到多个数据源、多个处理步骤或多个业务规则。在Kettle中，可以通过命令行参数、环境变量或者调用API的方式传递多个参数。在脚本或程序中...
Kettle循环遍历结果集作为参数传入转换
11-19
在这个场景下，我们讨论的是如何在Kettle8.2中实现一个特定的操作，即“Kettle循环遍历结果集作为参数传入转换”。 首先，我们需要理解Kettle中的“结果集”这一概念。在数据库查询中，结果集是执行SQL语句后返回的...
《kettle中实现动态SQL查询》博客文章示例代码
09-15
通过示例学习kettle动态查询，可以使用问号占位符或命名参数，并详细说明两者的区别。
kettel循环执行动态sql
03-01
kettel循环执行动态sql，
Kettle循环获取结果集中的数据并传入转换里面
01-08
1. Kettle循环获取结果集并传入转换里面 是Kettle循环转换（t1.ktr）中的结果集，放到转换2（var.ktr）中，输出到本地txt文件中 1.1 job j1.kjb JavaScript var prevRow=previous_result.getRows();//获取上一个传递的结果 if (prevRow == null &&(prevRow.size()=0)) { false; }else{ parent_job.setVariable(tables, prevRow);//ArrayList存储表名变量，以数组形式保存入table1，tabl
Kettle实现步骤循环执行
10-26
标题中的“Kettle实现步骤循环执行”涉及到的是数据集成工具Pentaho Data Integration（简称Kettle或PDI）的一种高级用法，即如何在工作流（Job）或转换（Transformation）中实现步骤的循环执行。Kettle是一款强大的...
kettle8 模拟表输入查询表名，然后在另一个表输入中使用变量使用
01-15
在提供的压缩包文件`myktr`中，很可能包含了实现上述功能的一个Kettle转换或工作流示例。你可以打开这个文件，查看具体的步骤配置和变量设置，以便进一步理解和学习。同时，也可以通过它来实践上述操作，加深对...
Kettle:执行SQL脚本
读万卷书 行万里路
11-17 1万+
【执行SQL脚本】可以允许以以下两种方式来使用： 在转换的开始阶段，执行一次SQL脚本 对传入该步骤的每一行数据执行一次SQL脚本 假设数据库表full_sou在rce和full_target中的数据如图1: 图1 创建只有一个【执行SQL脚本】操作的转化，其配置如图2。运行该转换可以将这两个表一起清空(图3)。 图2 图3 除了上述这种方法之外，也可以使用转换(图4)，其中【自定义常量】和【执行SQL脚本】的配置图5和图6： 图4 图5 图6 另外在【执行SQL脚本...
Kettle之【执行SQL脚本】控件用法
cakecc2008的专栏
07-20 1万+
版本：kettle6.1 控件：执行SQL脚本 该控件可以执行一个update语句，用来更新某个表中的数据， 如果不带条件，就很简单，把SQL语句粘贴到控件中，设置好数据库连接即可 如果需要带条件执行，则需要进行一些设置。入下图，是一种常用的设置方法 需要设置的地方有： 1、勾选“变量替换” 2、勾选“执行每一行?” 3、勾选“Bind parmaters?” 4、在wh
执行sql脚本——kettle开发03
java程序员的蜕变之路
05-24 599
1、一个作业内的转换，是顺序执行的。2、一个转换内的步骤是并行执行的。3、作业内不支持事务，转换内支持事务。1、执行SQL脚本是优先于所有步骤。2、使用“阻塞数据直到步骤都完成”，确保其他数据步骤都完成再进行下一步骤。如果我们不想让执行SQ脚本先执行，有没有办法让他听话呢？答案是一定的，此时我们需要用到阻塞对象，在执行SQ脚本前面安一个智能保安，保安保证前面的对象都执行完以后，再允许执行SQ脚本来运行。
kettle 执行sql脚本组件
09-11
kettle 执行 SQL 脚本组件是 Pentaho Data Integration（PDI）中的一个重要组件，它允许你在 ETL（Extract, Transform, Load）过程中执行 SQL 脚本。这个组件可以连接到各种关系型数据库，如MySQL、Oracle、SQL Server等，并执行你提供的 SQL 脚本。 使用 kettle 执行 SQL 脚本组件，你可以实现以下功能： 1. 执行DDL（Data Definition Language）语句，如创建表、修改表结构等。 2. 执行DML（Data Manipulation Language）语句，如插入、更新、删除数据等。 3. 执行存储过程或函数。 4. 执行复杂的查询语句，获取数据并进行处理。 在 kettle 中使用 SQL 脚本组件，你需要配置数据库连接信息、输入 SQL 脚本以及输出结果的方式，可以选择将结果写入目标数据库、文本文件或其他输出方式。此外，你还可以在 SQL 脚本组件中设置参数或使用变量来动态改变执行的脚本。 总结来说，kettle 的执行 SQL 脚本组件提供了灵活、强大的功能，可以在 ETL 过程中方便地执行各种 SQL 脚本操作。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值