kettle查库组装参数循环调用第三方接口入库

最新推荐文章于 2024-04-30 22:56:11 发布
最新推荐文章于 2024-04-30 22:56:11 发布
阅读量194 收藏
点赞数
文章标签： etl
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_37530941/article/details/135112195
版权

需求：需要通过查询数据库表组装第三方接口和参数，挨个调用接口获取数据入库，相当于一个小爬虫

创建JOB

勾选执行每次相当于对查出的结果集进行循环，然后每条数据去调用接口查询入库

创建转化

查表获取参数组装部分常量参数

字段选择可以不要

js组装所需参数和url

查询的每条数据调用接口

接口返回如下

调用第三方接口解析JSON，有些会出现乱码导致json解析失败可以挨个尝试

返回的数据

window定时任务每小时执行一次

创建bat文件

创建定时任务

操作添加bat文件

设置调用频率1小时一次

废材是怎么养成的
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Kettle根据参数循环调度
04-03
Kettle根据参数循环调度， 作业名称：总调度-监控数据量 作 者： 鲁班 开发时间：2019.04.03 加载频率：日 加载策略：全量 程序描述：监控数据量
Kettle实现循环功能！！！
像豆芽一样优秀
08-11 8231
Kettle实现循环功能！！！ 一、结果图 通过启动循环程序，点击确定弹出窗口的确定按钮，依次弹出“张三”、“李四”、“王五”，实现了简易的循环功能。 二、流程图 通过自定义“张三”、“李四”、“王五”的三条数据，依次执行该程序，达到循环的功能实现。 三、各个组件解析 通过组件 “自定义常量数据” 定义三条数据，将数据复制到结果中。 （1）、定义三个字段 （2）、填入数据（几条数据循环几次，这个值也可以通过变量实时变动，比如一个数据库有几张表） 通过 “复制记录到结果” （后续可以通过 ${F
Kettle中的循环作业，类似for循环功能
大宇进阶之路的博客
04-24 4736
在Kettle中通过组件之间的组合使用，可以实现程序中for循环的功能，可以循环执行某一个job或者转换，整体流程如下： 其中的JavaScript3是调试时使用的，可不加。 tra转换：选择要循环作业的表名 实际中可以将本转换改为选择数据库中的所有表。 JavaScript：获取上一步中的表名，并设置为变量 var prevRow=previous_result.getRows...
Kettle API - Java调用示例
07-12
对向前兼容性的推荐 ：如果想要动态地创造Transformation (例如:从元数据)，使用XML文件方法(KTR)而不是使用API。 XML文件兼容Kettle所有版本，同样对job有效的。 下面的例子进行以下操作： 1创建Transformation 2保存Transformation信息到XML文件 3获取在目标表操作的SQL 4执行Transformation 5drop目标表，使这个示例可以重复。
数据抽取-Kettl动态参数调用HTTP、POST接口
10-19
数据抽取-Kettl动态参数调用HTTP、POST接口
kettle调用
09-16
很好的java调用kettle，使大家更好的利用kettle转换数据，提取数据
KETTLE 实现循环调用用户信息接口
羊奇的博客
11-12 2482
当用户需要对接用户信息接口时，可以使用KETTLE进行分页读取用户信息，并更新到对应数据库中，效率高效。 1、首先根据最原始接口获取AccessToken值。此时数据由常量模块提供，可选GET或POST获取数据。 2、获取到的JSON数据可以使用JSON INPUT控件进行解析。 3、通过获取到的access_token值带入下一节点，获取第一个页面的数据，用于确定分页大小及总页数。 4、获取到的分页大小及分页数据后调用JavaScript模块进行数据拼接，并按照行的方式输出。 ..
Kettle 作业步骤循环执行的实现
okhymok的博客
10-31 2303
Kettle实现Transformation循环及跳出 在ETL操作中，经常需要对某个操作进行循环调用，可是使用Kettle工具时，并没有循环的组件可以调用，但在Job中引用Transformation时，可通过设置Transformation的高级属性（”执行每一个输入行”）来实现Transformation的循环，而在Transformation执行过程中，可根据条件设置跳出循环...
如何通过Kettle获取接口数据并将记录导入数据库（包括分页）
zkx990121的博客
12-16 7430
获取接口数据导入数据库 接口中的数据一般为[JSON格式](https://baike.baidu.com/item/JSON/2462549?fr=aladdin)，详情可点击查看。 下面进入正题，大致为下图所示 （1）HTTP client （2） JSON input
kettle实战之调用接口
纯真年代
01-14 8965
kettle实战之调用接口 在日常数据处理过程中，会涉及调用对方接口获取数据
Kettle实现步骤循环执行
10-26
Kettle实现步骤循环执行 Blog：http://blog.csdn.net/jdk2006/article/details/13019093
kettle使用job变量实现循环例子
07-18
kettle通过在job中变量来实现循环的例子：首先从文本文件读取表名，然后循环一个个表读取数据，其中最开始的文本文件输入表名可以改为从其他地方输入（比如表输入，网络请求等）
kettle rest 接口 请求实例
06-29
kettle rest 接口 请求实例，rest client 登陆，获取解释token,保存token,批量、单个请求接口，json交互
ketlle传动态参数调用http post接口入库.zip
03-26
使用kettle增量查询接口post接口（{"COMMAND":"接口名称","DATA":{"ACCOUNT":"账号","PWD":"密码","OPERATETIME":"增量参数"}}）入库
文摘标题：JAVA带参数调用KETTLE远程服务执行任务
06-29
本资源主要内容包括（资源有保证，都是干货，一看就会）： ...2.JAVA传参调用KETTLE远程服务执行任务实现过程及注意事项说明。 3.附件包括：配套说明文档、代码包、KETLLE任务测试文件及数据库脚本。
kettle 同步第三方接口数据示例
12-14
kettle 同步第三方接口数据示例
VitePress 构建的博客如何部署到 Netlify 平台？
guoqkmiss的博客
04-30 579
VitePress 构建的博客如何部署到 Netlify 平台
Postgresql 从小白到高手 十一 ：数据迁移ETL方案
最新发布
simensk的博客
04-30 105
当建立好外部数据包装器和外部表时，我们就可以在pg上查询外部表数据了，这个时候我们用存过将外部数据表的数据批处理转换为我们内部表所需数据，校正格式。任何数据在处理前，一定考虑好备份方案。存过参考我们前面的第七、八、九章内容。使用Sschme Diff 工具。FDW (外部数据包装器)pgAdmin 表同步。
这是一个基于Objective-C语言的基础案例集。旨在用于给初学者快速了解Objective-C语言的语法。.zip
04-30
这是一个基于Objective-C语言的基础案例集。旨在用于给初学者快速了解Objective-C语言的语法。.zip
kettle 1万条参数 循环查询后插入表
09-09
根据题目要求，有一张表包含kettle这个实体的1万条参数，并需要循环查询这些参数，然后将查询结果插入到另一张表中。 首先，我们需要编写一段kettle的循环查询脚本。可以使用循环结构，逐条提取kettle参数并查询结果，再将结果插入到目标表中。以下是一个简单的示例脚本： ``` DECLARE @param VARCHAR(100) DECLARE @result VARCHAR(100) DECLARE db_cursor CURSOR FOR SELECT param FROM kettle_parameters OPEN db_cursor FETCH NEXT FROM db_cursor INTO @param WHILE @@FETCH_STATUS = 0 BEGIN -- 查询参数对应的结果 SET @result = (SELECT result FROM query_table WHERE query_parameter = @param) -- 将查询结果插入到目标表 INSERT INTO target_table (param, result) VALUES (@param, @result) FETCH NEXT FROM db_cursor INTO @param END CLOSE db_cursor DEALLOCATE db_cursor ``` 上述脚本使用游标循环方式，逐个提取kettle参数并查询结果，然后将结果插入到目标表中。具体步骤包括：声明两个变量，一个用于存储参数值，另一个用于存储查询结果；打开游标并提取第一个参数；进入循环，查询参数对应的结果，并保存到结果变量；将参数和结果插入到目标表；提取下一个参数，直到所有参数都被处理完毕；关闭并释放游标。 通过运行上述脚本，我们可以循环查询kettle参数并将查询结果插入到目标表中。注意，在实际应用中，需要根据具体的数据库和表结构进行相应的修改，以适应实际需求。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值