kettle脚本:下载地址
https://download.csdn.net/download/qq122716072/13107872
项目背景:某医院提供两个restapi接口,我们需要把两个接口的数据整合一下放到我们的数据库
项目分析:一个很小的工具可以做到,比如用java代码,但是需要写代码,本人太懒不想写。于是乎想到kettle工具。
- 此项目有两个基本脚本和一个sing是任务脚本,第一个脚本:获取api接口的数据放入本地文件中;第二个脚本:从本地文件中获取数据经过处理插入数据库;第三个定时任务脚本:定时执行第一个脚本后再执行第二个脚本
第一个脚本:获取api接口的数据放入本地文件中
核心思想:使用httppost组件调用api接口获取数据,用java代码处理数据后放入本地xml文件
第二个脚本:从本地文件中获取数据经过处理插入数据库
核心思想:使用从xml文件获取数据组件,获取两个文件的数据,根据bed_id做一个记录集连接,inner join,可以过滤出想要的数据。和数据库中的数据对比,如果有更新才插入数据库,无更新的数据过滤掉不插入数据库。和数据库中的数据对比,如果源数据不存在,而数据库存在多余,则清空这条数据
第三个定时任务脚本:定时执行第一个脚本后再执行第二个脚本
核心思想:先执行获取api接口局数据操作,再执行插入数据库脚本
有个问题
如果获取api接口数据失败(掉不通过或者超时…),则获取不到数据,会清空数据库中的数据,怎么解决?后续优化
需要脚本的请联系我