*背景:最近已经两个项目使用到了ETL工具Kettle,而且我司两次使用的环境部署及使用都是我自己费劲巴拉东找西找来搞定的,所以觉得有必要自己把这块知识记录共享一下了。*
一、环境准备
由于Kettle是一个基于java的ETL工具,故首先需要配置好java环境变量,具体配置方法见文档《centos7安装jdk》。这里我们使用的环境是windows10、centos7、jdk1.8.0_141-b15以及pentaho 7.1.0.0。
二、作业流程准备
1) 首先需要将kettle压缩文件上传到服务器并在适当的目录下解压,解压后需要给文件赋确保可执行的权限:
Chmod 755 data-integration/*.sh
2) 测试部署是否成功:
执行 ./data-integration/kitchen.sh 若出现部署帮助信息则为部署成功:
3) 然后在windows环境下将测试好的kettle作业文件准备好,具体流程操作参见文档《公积金数据导出导入作业说明》。
三、迁移至生产环境
- 将本地的Repository文件夹拷贝到Linux机器的指定目录下(一般为pdi目录)
- 将本地的repository.xml文件拷贝到Linux对应目录下,修改其中的repository路径(一般在linux上自己手动创建即可):
四、创建可执行文件
- 创建可执行文件kettle.sh,其内容如下: