【ETL】Kettle Spoon发送Get请求

Kettle Spoon简介
        ETL(Extract-Transform-Load的缩写,即抽取、转换、装载的过程),在项目的开发过程中经常会对接第三方公司提供的数据接口,需要把接口请求到的数据入库。ETL能够做数据抽取、质量检测、数据清洗、数据转换等工作,使用这个工具能够大大的减少开发的工作量。
        Kettle中有两种脚本文件,transformation(转换,以ktr结尾);job(任务,以kjb结尾)。比如我们需要对接第三方提供的REST接口,我们可以使用transformation发送get请求,请求到数据进行简单处理转换,然后插入到数据库当中。假如这个接口是实时更新数据,5分钟请求一次,那我们就要用到job这个脚本。我们可以把transformation加入到job中,设置job定时执行。

官网 :http://kettle.pentaho.org/ 
下载的最新版本的kettle是:pdi-ce-7.1.0.0-12

示例:发送Get请求,接收数据写入文件

接口返回数据如下所示:

第一步:新建转换

第二步:添加自定义常亮数据

 添加变量urlStr,这个变量是Get接口的地址,将参数传递给下一步操作

 第三步:添加查询组件Rest Client

 第四步:添加文本文件输出

第五步:运行

 

此示例很简单,算是抛砖引玉。大家可以先从简单入手,逐渐得心应手。

参考文章:https://blog.csdn.net/liaomin416100569/article/details/82798879

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值