kettle 批量迁移数据 学习记录

一、kettle 登陆资源库后，打开转换时提示【一个数据库错误发生在从资源库文件读取转换时 Unexpected error reading step information from the repository Invalid byte 1 of 1-byte UTF-8 sequence.】

在Windows系统，需要修改Spoon.bat中JVM参数增加【-Dfile.encoding=UTF-8】

二、做批量数据迁移时，必须创建资源库（创建的 Database Repository（数据库资源库）），不然java代码 getTrans().getRepository()  ，获取不到数据连接

getTrans().getRepository().readDatabases();//获取资源库的所有数据库连接信息

创建资源库：

资源库类型

1> Database Repository（数据库资源库）：将转换和作业相关的信息保存到一个数据库中，安全性更高，支持团队开发，多个用户可以共用这个资源库，真实环境常用。

2.> File Repository（文件资源库）：将转换和作业相关的信息保存到本地的指定文件夹中，就是作为文件保存，不支持团队开发。

创建资源库参考：https://blog.csdn.net/MengCXJ/article/details/123095338

三、KETTLE执行job，step显示成功，但是并没有结果
kettle执行job时，全部step都显示成功，但是从某一步开始无结果返回
解决办法：
转换不能勾选执行每一个输入行

四、只有一个输入记录期待设置变量并且至少已经收到2个变量：

1> 需要循环执行的job，必须勾选执行每一个输入行

2> 可能是job的任务名重复

五、不能同步空表，没有数据的空表使用java代码创建会报错但是不影响其他表生成与数据同步

批量迁移参考：

1> kettle完成一个数据库到另一个数据的整体迁移 - 走看看

2> （最详细图文教程）利用Kettle进行数据的批量迁移_ShiSanQ的博客-CSDN博客_kettle整库迁移