Spoon工具使用(kettle进行实时同步数据)
安装
解压完Spoon安装包后,双击.bat文件打开
相关概念
- 转换:一个或多个数据抽取的工作流程,比如全量抽取某个表的数据等等
- 作业:进行转换或其他操作的集合
转换
新建转换之后,找到主对象树,这里DB连接、步骤、节点连接是必要的,其他的功能项按需求来
DB连接
DB连接是配置数据库的连接信息,以供步骤进行使用(下面会讲到步骤)
这里我们新建数据连接,填上数据库的连接信息
- 插入表为127-mysql-test 库中的user2表
- 更新表为127-mysql-test2库中的user3表
步骤和节点连接
步骤是用图形化的界面展示你进行kettle转换的一些详细操作
节点连接是连接各个步骤之间的操作
步骤里面包含表输入、表输出、写脚本…选取拖动即可
我这里要做的步骤是:每次增量替换数据(插入/更新/删除数据)
1、执行sql脚本,清空目标表(下面两个方面设置后可以单次执行插入和更新,但是删除源表后,插入表不能同步删除,所以需要设置“执行sql脚本”进行同步删除操作。)
2、表输入
3、表输出
到此就写完了一个转换,如果有多张表,可以在图形化界面中加入多个转换
作业
新建作业之后,找到主对象树,这里DB连接、作业项目等做详细建设
DB连接
跟之前一样,就不详细介绍了,有需要可以用到
作业项目
这里是使用你刚才写的转换,然后启动作业进行kettle抽取
然后启动就可以定时调度了,定时同步数据就完成了。
1、job文件加入对应参数的初始值
2、转换文件用${…}填入