KETTLE进行千万级数据迁移

任务需求：

将老系统的数据迁移到现在使用的数据库中，涉及四个数据库，每个数据库数据量都在千万级左右。

解决方法：

使用Kettle进行数据迁移

 解决过程：

新建kettle转换，加入表输入和表输出组件

 ​

 并且设置数据库连接

 

 设置参数

启动转换

 

如果还想再快一点，可以找到kettle的启动文件spoon.bat(windows系统使用的是spoon.bat,linux系统使用的是spoon.sh) 

 

编辑打开文件，找到

if "%PENTAHO_DI_JAVA_OPTIONS%"=="" set PENTAHO_DI_JAVA_OPTIONS="-Xms512m" "-Xmx512m" "-XX:MaxPermSize=256m"

修改-Xms、Xmx的值，根据硬件条件酌情增加。