本文介绍了如何使用Kettle进行ETL处理，通过Rest Client组件向API接口推送Json数据。首先，通过Token_url获取Token，然后利用Json Input解析结果，设置变量。接着，将数据转化为Json格式，通过REST Client调用API接口。在作业中，加入统计满足条件的记录数的步骤，确保无数据时不会出现空指针错误。
Kettle作为开源ETL工具，使用较多（因为不花钱）。
最近我个人在使用的时候遇到了需要将hive的数据以Json的格式推动到API 接口。调用API使用的是Kettle的组件“rest client”。具体的流程如下：
因为向下游推送数据时候，需要先获取 Token密码，再拼接为API 的URL 。所以，第一步需要先获取Token密码：
1.Token_url:主要是放入获取Token密码的URL，方便第2步骤使用:
如何不限制记录为1设置为n，则访问n次url并且生产n个token密码
2.获取Token: 访问URL，并得到包含Token密码的结果
从上一步获取URL，设置为GET方式。因为上游返回的是Json文档，所以这里数据类型设置
最低0.47元/天 解锁文章
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
