Kettle将数据转成JSON格式后通过restClient发送POST请求

最新推荐文章于 2024-05-10 08:00:00 发布
最新推荐文章于 2024-05-10 08:00:00 发布
阅读量1.3w 收藏 23
点赞数 4
分类专栏： kettle 文章标签： kettle ETL kettle发送POST请求
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40962504/article/details/85338454
版权

第一步：处理好自己的数据，然后转成JSON格式，使用JSON Output控件，并且把要转成JSON并发送出去的字段和元素名称的映射关系对应好

数据条目行数选择不填，填数字将会按照填写的数字拆分数据，会导致后面发送POST请求变成一条一条传，效率低下

输出值outputValue作为保存你转换后所有数据的对象,然后字段页面给要发送出去的字段赋好元素名

 

 

最低0.47元/天 解锁文章
YanKingONE
关注
  • 4
    点赞
  • 踩
  • 23
    收藏
    觉得还不错? 一键收藏
  • 11
    评论
专栏目录
Kettle实战100篇 第2篇 调用RESTful接口导入JSON结果入库
八一菜刀的专栏
10-04 1万+
不管是通过Java或者是Python编码的方式调用RESTful接口将结果入库,都是有一定复杂度的,首先你要加载第三方REST组件,然后连接数据库,写SQL语句,最后插入的目标数据库中 但我们有了Kettle这个工具之后,只需要使用她的图形化界面Spoon就可以很方便的完成接口调用及入库的操作 简单的GET请求 需求 我们拥有接口api地址：http://xxx.domin.com/api...
kettel 发送POST请求 （REST Client）
热门推荐
qq_25375173的博客
08-20 1万+
1、流程图 2、具体步骤 1>生成记录，具体需要的参数 2>rest client 选择 方式 post 特别注意： *body field 输入需要post的 参数，json=jsonStr 如果是多个：json=123&json2=ddws* 3>json数据解析，注意路径 3>分支，根据请求结果中的 code字...
数据抽取-Kettl动态参数调用HTTP、POST接口
10-19
数据抽取-Kettl动态参数调用HTTP、POST接口
kettle从入门到精通 第五十八课 ETL之kettle HTTP post使用教程
最新发布
zhangjin1222的博客
05-10 865
选择“发布文件”并在“主体参数”下指定字段，但没有为“请求实体字段”（文件名的位置）选择值，将会静默失败。如果你在“常规”标签中填写了 URL 和其他必要的细节，你可以使用“获取值”按钮来预填充这里的字段。9）Connection close wait time：定义连接关闭后的等待时间（单位为毫秒），默认值为-1，表示使用操作系统的默认等待时间（通常为2分钟）。如果你在“常规”标签中填写了 URL 和其他必要的细节，你可以使用“获取值”按钮来预填充这里的字段。：如果选中，则必须指定从哪个字段检索URL。
通过Kettle工具解析Json接口数据并且保存到数据库中的详细操作
xuguoxing123的博客
06-05 1万+
最近接到一个业务需求，就是要把一个Json接口数据获取下来并且保存到数据库中，考虑到应用代码实现功能需要耗费一定时间和精力，效率不高，于是就选择利用Kettle工具来实现这个业务功能，具体操作如下： （一）首先 ...
kettle学习之路 第一篇 调用RESTful接口导入JSON结果入库
weixin_44294921的博客
04-16 422
学习真的好难呀！坚持就是胜利！加油！
ETL： 如何使用kettle向API接口推送Json数据
yqgwk的博客
04-28 1万+
Kettle作为开源ETL工具，使用较多（因为不花钱）。 最近我个人在使用的时候遇到了需要将hive的数据以Json的格式推动到API接口。调用API使用的是Kettle的组件“rest client”。具体的流程如下： 因为向下游推送数据时候，需要先获取 Token密码，再拼接为API的URL 。所以，第一步需要先获取Token密码： ...
RESTClient插件POST方法传递参数
浅沫
06-27 4544
1.设置Headers,增加一个Content-type: application/x-www-form-urlencoded2.在Body中定义你的参数，比如你的方法参数像这样：@RequestParam("examTimeIdList[]") List<String> examTimeIdList, Integer uploadType那么你在Body中应该这样写：examTime...
kettle用Rest Client发送http请求
qq_35989920的博客
04-23 1207
kettle用Rest Client发送http请求
kettle的 Rest Client 组件的使用 / API接口数据调用
weixin_45467134的博客
05-08 3453
目录使用方法整体设计part1：生成记录part2：REST clientpart3：json input + 表输入 使用方法 整体设计 part1：生成记录 注：生成记录，限制记录数是1 ，默认是10 part2：REST client 重点：请求头 参数页： part3：json input + 表输入 完成json数据解析+数据入库。     世事变迁，沧海桑田，它在万维网的角落，等着哥伦布和他的船员。        ...
kettle组件HTTP Post，HTTP Client和REST Client的区别及使用方法
sharehoo的博客
01-02 1万+
最近项目要调用第三方接口来获取json数据，并解析数据入库。这里用到了kettle作为数据抽取工具。Kettle 除了常规的数据处理之外，还可以模拟发送HTTP client/post，REST client。 这里顺便讲一下这三个组件的区别之处，省的下次绕迷糊。 1.HTTP Post组件 ”post“顾名思义应该就是http请求方式为post，这里查看源码也得到证实，是引入的o...
kettle生成经纬度， REST Client、Http Client组件例子
11-21
kettle生成经纬度， REST Client、Http Client组件例子
kettle抽取http请求，发送json参数.docx
04-01
在这个步骤中，我们将前一步骤中的开始时间和结束时间拼接成json格式的参数。这个参数将被用于后续的http请求中。 第四步：获取参数中想要的数据，通过 jsonpath 语法获取上个步骤的数据 在这个步骤中，我们使用...
Flume 抽取MYSQL Oracle数据 JSON格式 推送Kafka
05-28
Flume二次开发，支持抽取MYSQL Oracle数据库数据 以JSON格式推送至Kafka。 demo： sql_json.sources.sql_source.type = com.hbn.rdb.source.SQLSource sql_json.sources.sql_source.connectionurl = jdbc:oracle:...
Kettle工具将数据查询导出csv文件格式方法
01-20
kettle工具导出数据库数据为csv文件格式 一、新建转换如下 图1 示  图1 二、表输入，右键——编辑步骤。 输入需要查询数据库的sql语句，如下图2 示    图2 三、字段选择，右键——编辑步骤。
Kettle将数据导入导Hive2
01-07
 本来将数据导入到hive，但是不知道什么原因太慢了，一小时200条数据，优化一波kettle，还是成效不大，因此改为借用hadoop file output 到hdfs，然后再load 到hive表里 一，正文 1.在转换里拖入big data/hadoop ...
kettle的REST Client插件POST body中传多层嵌套json
xpm_xq的博客
02-18 4152
通过RESTFUL API请求方式清空es中的某个类型下的所有数据 POST请求 http://localhost:9200/organization/product/_delete_by_query { "query":{ "match_all":{} } } 在kettle中实现这个过程 ...
使用kettle处理post和get的接口查询的数据
qq_57546145的博客
06-28 2152
使用kettle处理post和get的接口查询的数据
【Kettle】 kettle | spoon | http请求 | 解析json | 结果入库
hgSuper的博客
08-03 2814
kettle | spoon | 获取http数据 | json处理 | 保存入库
将时间戳转换成年月日 数据清洗kettle
11-22
在Kettle中，可以使用“计算字段”步骤将时间戳转换为年月日格式。具体步骤如下： 1.在转换中添加“计算字段”步骤。 2.在“计算字段”步骤中，选择要转换的时间戳字段，并创建一个新的输出字段。 3.在“表达式”栏中输入以下表达式：TO_CHAR(时间戳字段 / (1000 * 60 * 60 * 24) + TO_DATE('1970-01-01 08:00:00', 'YYYY-MM-DD HH24:MI:SS'), 'YYYY-MM-DD')。 4.在“数据类型”栏中选择“字符串”作为输出字段的数据类型。 5.运行转换并查看输出结果。 另外，如果你想将时间戳转换为其他格式，可以使用以下两种方法： 方法一：使用Kettle的“日期格式化”步骤。在该步骤中，你可以选择要转换的时间戳字段，并指定输出格式，例如“YYYY-MM-DD HH:mm:ss”。 方法二：使用JavaScript脚本。在Kettle的“JavaScript”步骤中，你可以编写JavaScript代码来将时间戳转换为任何格式。例如，以下是一个JavaScript函数，可以将时间戳转换为“年月日”格式： ```javascript function formatDate(timestamp) { var date = new Date(timestamp); var year = date.getFullYear(); var month = date.getMonth() + 1; var day = date.getDate(); return year + '-' + month + '-' + day;} ``` 然后，在“JavaScript”步骤中，你可以调用该函数并将时间戳作为参数传递给它。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 11
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值