kettle做数据迁移及kettle迁移效率优化

前段时间做一个大数据平台项目,项目中期的时候需要把客户的HANA库中的数据迁移到我们的数据库,Oracle做中间库,当时借鉴了一些前辈的意见,初步方案是全量迁移用kettle,增量迁移用Java job,后来随着kettle的研究深入,发现了kettle的效率很高,随即全都用了kettle,介绍一下我都使用心得.

我下的版本比较高

启动的话,点击Spoon.bat,Windows启动就行,Linux的话Spoon.sh

kettle有两种流程,一个是转换,一个是作业,可以配置多个转换在一个作业中定时去跑,也可以多个job互相嵌套,kettle的用处很多,又因为是纯Java开发,所以只需要配置好JDK环境就行了,配置转换和作业之前,我们先进行一些基本设置.由于我涉及的迁移是大数据,单表近7千万的所以我对kettle的迁移效率做了一些优化.

1.增大JVM

2.使用连接池

3.网络配置

useCompression=true
rewriteBatchedStatements=true
useServerPrepStmts=false

4.设置表输出每次commit为30000

5.使用多线程

6.配置集群(全量迁移时使用,增量没必要)

7.并行迁移多张表

 

真正定时执行的Job是这个

这是全量迁移,增量迁移组件如图

目前实现了全量一次迁移,增量每日执行,增量业务场景为 update insert delete 保持了,源库和目标库的数据一致性,完整性.