Oracle
多表格批量同步数据=》MYSQL
场景
多张Oracle表格,通过轮询自动同步数据到mysql。
避免每个Oracle表格数据=》mysql都做一个转换,产生大量转换,难以管理和调整。
主要通过kettle变量,循环,字段名自动匹配,以及Oracle、mysql数据字典来实现。
初步完成Oracle表格=》mysql的初始化同步,后续增加增量同步,DDL同步,异常处理操作。
基本步骤
1.
在mysql里查找test库下有哪些表格,输出到结果记录
2.
从结果记录里面每次取一行,设置变量
3.
针对每次使用的变量值,去oracle数据源里生成对应的表输入(通过变量生成)
4.
把变量赋给表输出组件的表名
5.
表输出其他内容不做制定,因为表名和字段都和源端oracle是一样的
6.
针对每个“输出到结果记录”做循环,插入每个oracle表格数据到mysql
总体流程
步骤1:Tables in mysql(Job)
步骤2:insert into mysql(Job)
步骤2.1 set tablename(tranfomation)