KETTLE 实现循环调用用户信息接口

当用户需要对接用户信息接口时,可以使用KETTLE进行分页读取用户信息,并更新到对应数据库中,效率高效。

 1、首先根据最原始接口获取AccessToken值。此时数据由常量模块提供,可选GET或POST获取数据。

 2、获取到的JSON数据可以使用JSON INPUT控件进行解析。

3、通过获取到的access_token值带入下一节点,获取第一个页面的数据,用于确定分页大小及总页数。

4、获取到的分页大小及分页数据后调用JavaScript模块进行数据拼接,并按照行的方式输出。

此时需要注意:

var newRow;
for(i=1;i<=2;i++)
{
	var _url = url+'&page='+i;
	//把上一行的数据复制下来,并生成新的一行
    newRow = createRowCopy(getOutputRowMeta().size());
    var rowIndex = getInputRowMeta().size();
    //把数组groups的值赋给新增的字段subgroup
    newRow[rowIndex] = trim(_url);
    //输出新生成的这行数据
    putRow(newRow);
}
trans_Status = SKIP_TRANSFORMATION;保证原始的数据行不会被放入输出流中。 如果不带这一句,则原行还是会输出一行造成重复数据。

  5、后续将是大众的路线,根据每一行获取每一页的数据信息,并更新到数据库中。第四点实现了分页URL的数据生成,此节点最为重要

  • 2
    点赞
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Kettle 是一款开源的数据集成工具,支持通过 REST 接口进行调用。它提供了一组 RESTful API,可以用于执行转换(Transformation)和作业(Job)。 要使用 Kettle 的 REST 接口进行调用,您需要了解以下几个关键概念: 1. 转换(Transformation):表示数据处理的流程。它由一系列的步骤(Steps)组成,每个步骤执行特定的数据处理操作。 2. 作业(Job):表示一组转换和其他控制逻辑的组合,用于实现更复杂的工作流程。 3. 转换和作业的定义文件:转换使用 .ktr 文件进行定义,作业使用 .kjb 文件进行定义。 下面是使用 Kettle REST API 进行转换和作业调用的一般步骤: 1. 构建请求:根据 API 文档,构建包含必要参数和请求体的 HTTP 请求。 2. 发送请求:使用 HTTP 客户端库发送请求到 Kettle 的 REST 接口。 3. 处理响应:解析服务器返回的响应,获取需要的信息。 以下是一些常见的 Kettle REST API 调用示例: - 执行转换:使用 POST 请求发送转换定义文件(.ktr 文件)到 `/kettle/executeTrans` 接口。 - 执行作业:使用 POST 请求发送作业定义文件(.kjb 文件)到 `/kettle/executeJob` 接口。 - 获取转换或作业的状态:使用 GET 请求访问 `/kettle/status` 接口,并提供转换或作业的 ID。 - 获取转换或作业的日志:使用 GET 请求访问 `/kettle/log` 接口,并提供转换或作业的 ID。 请注意,具体的 API 调用方式和参数取决于您使用的 Kettle 版本和配置。建议查阅 Kettle 的官方文档或相关资源,以获取更详细的信息和示例代码。 希望这些信息对您有所帮助!如果您有任何进一步的问题,请随时提问。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值