kettle6.1从http接口读取数据并解析json以及xml

最新推荐文章于 2024-08-05 20:37:42 发布
最新推荐文章于 2024-08-05 20:37:42 发布
阅读量1w 收藏 17
点赞数 4
分类专栏： 数据库 kettle 文章标签： kettle6.1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fzuzhanghao1993/article/details/88885528
版权

业务需求

1、从数据库中读取表内容作为入参；
2、根据入参读取http接口并获取返回数据；
3、解析返回的json并提取其中的xml字段；
4、解析该xml字段；
5、入库。

使用组件

表输入用于读取数据库内容、rest client用于发送http请求并接受返回数据、json input用于接收返回数据并解析、Get data from XML用于解析XML
表输入
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

数据结构

入参为姓名、身份证号，直接数据库中读取并拼接

最低0.47元/天 解锁文章
烫烫烫口
关注
专栏目录
kettle批量解析多个xml文件
05-25
kettle批量解析多个xml文件，适合于批量数据导入，生产环境直接测试，肯定没有问题
ETL KETTLE 中利用Httpclient 调用webservice接口获取XML数据，并解析XML 数据
03-05
ETL KETTLE 中利用Httpclient 调用webservice接口获取XML数据，并解析XML 数据。 完整的KTR实例
kettle从入门到精通 第八十四课 ETL之kettle kettle中Get data from XML使用实战教程
最新发布
zhangjin1222的博客
08-05 941
12、这里如果是xml文本，依然可以使用步骤自动生成xmlpath，切换到字段tab，点击按钮获取字段，将xml文本粘贴到文本框&然后点击确定即可自动填充xmlpath。6、切换到内容tab，点击按钮【获取XML文档的所有路径】，弹窗会列出xml文件中的所有path，我们根据自己的要求选择一个path，这里我们选择第一个根path。具有不同的命名空间，因此它们是完全不同的元素，即使它们的本地名称相同。2、了解了xml命名空间的作用，我们言归正传，继续学习如何使用Get data from XML步骤。
kettle 解析xml xml文档，配合kettle 解析xml stax方法，完整解析案例使用
04-09
与上一个版本一起使用可以可以起到提高效率的目的。本人解析xml的真实文档
kettle动态解析XML文件数据导入Oracle或者其他数据库
05-26
kettle动态解析XML文件数据导入Oracle或者其他数据库 需求背景： 因为客户每天都要通过接口通过ftp上传固定格式的xml的文件，需要每天定时解析指定目录下的指定名称的xml文件导入Oracle和其他的数据库，所以开发了这个。 生产环境的，没有问题呦
Kettle项目实践
tang5615的博客
02-19 1225
本文编写两个kettle常用的用法，方便快速掌握kettle的使用。
kettle网络查询节点
qingxinziran007的专栏
03-14 607
上篇文章回顾： 上篇文章主要讲了如何编写kettle的第一个作业，相信大家已经掌握；本篇文章主要介绍一些kettle如何去获取数据，获取数据无非是从接口获取或是从本地文件获取；本章主要讲解如何从接口中获取数据，比如调用一个rest接口，获取返回结果。后续还会讲解如何从一个websocket接口获取数据，这就涉及到插件的开发，将会在以后的高级篇教程中进行讲解； HTTP-GET： 最终展示结果如下，日志中输出的result字段，便是get请求的返回值； 第一步：按照上图方式，将“获取变量”节点、“
kettle实验三：基于HTTP GET请求的导入与导出
weixin_44727274的博客
01-27 4805
【实验目的】 1.利用Kettle的“自定义常量数据”，“HTTP Client”组件，获取具有一定结构的网页内容，并使用。 2.熟练掌握“自定义常量数据”，“HTTP Client”，“JSON Input”组件的使用，实现网页内容的获取以及解析。 【实验原理】 通过“自定义常量数据”将需要访问的URL（网页地址）设置为常量，并将该常量传递给“HTTP Client”步骤以获取具有一定结构的网页内容的相应数据，然后使用“JSON Input”对内容进行解析，选取需要的数据，最后使用“Excel输出”步骤传
kettle调用接口数据
aidadaren的博客
01-29 5091
使用kettle调度接口数据到数据库
KETTLE调用接口数据（HTTP，API接口，包含list集合）
热门推荐
m0_46521990的博客
05-12 1万+
先看流程在调用接口之前首先先需要知道一些必要的参数 url：就是接口地址 body：相当于sql语句中的where条件（select * from dual where body=） 再不明白请看图，其中百度就相当于body token：就相当于打开接口的钥匙，URL就是门，想进门你就得有钥匙，请看具体解释 关于这个token看具体情况，有的接口需要token，有的接口不需要，我展示的这个接口需要token但是他会一直在变，苦苦找寻办法没有解决，最后让做ESB的同事给我代理出来了 page：从第几页开
Kettle读取接口数据到数据表-Http控件的使用
qq_44749491的博客
09-13 5079
最常用的从接口读取数据到数据库中的做法总结
kettle抽取http请求，发送json参数.docx
04-01
kettle抽取http请求，发送json参数示例
ketlle传动态参数调用http post接口入库.zip
03-26
使用kettle增量查询接口post接口（{"COMMAND":"接口名称","DATA":{"ACCOUNT":"账号","PWD":"密码","OPERATETIME":"增量参数"}}）入库
kettle 6.1
07-30
kettle 6.1.0.1-196版本，支持JDK1.7版本，方便不是用1.8JDK版本的同学
再谈kettle两种循环之-调用http分页接口循环获取数据
06-26
本文将深入探讨“再谈kettle两种循环之-调用http分页接口循环获取数据”这一主题，旨在提供对循环Job、变量运用、调用HTTP分页接口、生成连续记录以及MD5加密等知识点的详细理解和实践指导。 首先，Kettle中的循环...
Kettle实现xml数据解析，存入数据库
whiteflameR的博客
11-01 4483
用kettel软件将xml数据提取，存入数据库
ETL工具KETTLE常用设计之——单个或批量xml文件解析
LSY_CSDN_的博客
12-22 2954
1、核心思路:就是指定要循环读取XML的路径，并指定该路径下每个字段对应的路径，以便kettle能够循环读取XML中的数据，从而获取所有记录中不同字段的值。 2、具体步骤如下： （1）选择XML文件路径（如果文件中各种节点路径一模一样，可以选择多个文件，在选择多个文件时可以逐个选择文件添加进去，也可以选择一个文件夹路径，然后通过通配符批量选择xml文件）： （2）指定要循环读取的XMP路...
利用kettle HTTP Client 获取百度API区域位置内相关信息，并解析json
weixin_41160534的博客
07-11 3496
Kettle 除了常规的数据处理之外，还可以模拟发送HTTP client/post ，REST client。 这几天我用HTTP GET 请求访问了百度 提供的接口（百度地图开放平台），并通过kettle、java两种方式进行了解析。 kettle使用组件是 json input ；java使用的 阿里巴巴Json工具 ：Fastjson ； 对于新手来说kettle 的HTTP G...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值