mysql增量同步oracle_使用KETTLE从mysql同步增量数据到oracle

初次使用ETL工具抽取并同步数据，搜索之后决定使用kettle，使用后感觉很方便。

本次是基于一个很小的需求，需要把老系统的mysql数据在一段新老系统共存时期内产生的数据实时传输到新系统oracle中，因为实时性要求不算高，所以我没有做触发器这些对接，只单纯的使用kettle做了一个抽取转换传输，定时执行。下面记录一下本次的操作，并写一下自己遇到的坑。

老系统mysql表很大，本次基于一个小的需求，只需要抽取其中的两个字段同步传输。两个字段均是varchar类型，相对比较简单。我尝试过传输mysql的int(11)和oracle的number，发现需要把oracle的number改为number(10)，二者才能对的上号。

工具：kettle的pdi-ce-7.0.0.0-25，可去官网下载；mysql，oracle

思路：先将mysql老数据和oracle同步后的数据都查出来，转换字段统一整合交给kettle处理，kettle会依据关键字段和时间戳来判断来自mysql的数据对oracle来讲，是新增、更新、删除还是无任何操作，并分别标注标识位，后续一步步判断标识位，最后转换成oracle字段，插入/更新/删除数据库数据。

整个流程使用kettle分为两部分，一部分是一个转换，是流程执行的主要战场；另一个是一个作业，用来循环执行上一个转换，达到定时执行的效果。

转换步骤图：