Kettle定时提取数据
一、 建立转换
- 建立转换
选择转换
拖拽“表输入”、“表输出”控件,长按shift将两个控件连接起来
① 双击“表输入”,点击新建,输入要抽取的数据库的信息,如图1,点击测试显示连接成功,点击确定保存信息。
图1
② 在SQL面板中插入抽取数据库的语句进行筛选,如图2。点击预览显示提取的数据,如图3。如有可预览数据点击“确定”。
图2
图3
③双击“表输出”,输入导入的表的位置,如图4。
注意:互相传输数据的表内字段的数据类型必须一致。
建议先运行“表输入”和“表输出”的部分,成功后再加入其它核心对象
图4
④拖拽“执行SQL脚本”,双击进入,点击编辑输入连接输出表部分对应的信息,点击“确定”保存信息,如图5。
图5
⑤在图5的执行SQL语句面板输入所需处理的SQL语句,点击“确定”保存
⑥连接好后,点击转换面板顶部的“预览”,查看预览效果,正确后再点击“执行”启动这个转换。成功显示如图6。
保存这个转换为.ktr格式。
在这里插入图片描述
图6
- 设置定时
① 在Spoon面板顶部文件处新建一个作业,将成功运行的转换加进去,连接“start” 和 “成功”对象,在“start”对象里修改定时的时间。启动显示成功即可在navicat的本地表中存入处理后的数据。如图7。
本次任务设定为一天,目前确定设定60min进行测试。
图7
②点击“执行”启动这个定时任务,进行每小时的定时读取。
并在自己的数据库对应的表中定时存进数据显示