Kettle–MySQL生产数据库千万、亿级数据量迁移方案及性能优化。
一、Kettle环境搭建
1.1 Kettle下载及安装
下载之后点击.bat安装即可。
1.2 驱动包下载
官方Oracle Java驱动包下载: https://www.oracle.com/database/technologies/appdev/jdbc-downloads.html
官方DB2 Java驱动包下载:https://www.ibm.com/support/pages/node/382667
官方MySQL Java驱动包下载: https://dev.mysql.com/downloads/connector/j/
二、Kettle使用
2.1.2.1 创建Kettle转换
在前面数据库连接测试时,新建的test.ktr就是一个Kettle转换文件,只不过前面只是测试了DB连接是否正常,至于表输入和表输出的相关配置,实现数据表数据迁移的相关配置还没作具体说明~
(1)同前面创建test.ktr方式,创建demo_info数据表对应的转换文件demo_info.ktr
(2)双击表输入进行编辑,如下图:
(3)双击表输出进行编辑,如下图:
(4)同样创建测试表demo_info2对应的转换文件demo_info2.ktr
2.1.2.2 创建Kettle作业
(1)完成kjb作业的创建,并关联demo_info表的ktr转换,作业执行过程为 Start -> 转换 -> 成功,如下图:
注意这里Transformation一般建议使用相对路径,移植性比较高,如:
${Internal.Entry.Current.Directory}/demo_info.ktr
表示kjb会加载跟自己同目录的ktr文件,建议不要写死ktr的绝对路径,容易出错
(2)同样将测试表demo_info2的转换也添加到作业中~
最后,快捷键Ctrl + S或者点击左上角保存,保存得到kjb作业文件(跟ktr转换放同一个目录下)