kettle从学习到部署

1，背景

工作中有用到数据同步功能，主要是2方面：内部数据库同步；内部与外部数据库同步。

（领导）考虑到kettle不用写（java）代码，所以就用kettle做了。

结果是，kettle的确能满足功能需求。

2.学习
kettle 下载地址（以及安装方式）
https://community.hitachivantara.com/s/article/data-integration-kettle

kettle PDI 说明
https://help.hitachivantara.com/Documentation/Pentaho/9.2/Products/Pentaho_Data_Integration

kettle cmd
https://help.hitachivantara.com/Documentation/Pentaho/9.2/Products/Use_Command_Line_Tools_to_Run_Transformations_and_Jobs

kettle案例-实现数据实时增量同步
（该例子存在bug：同步数据时update会被当做insert）
（里面有github地址可以下载代码）
https://blog.csdn.net/dora_310/article/details/80511793

kettle资源库，选型
https://www.cnblogs.com/jiangbei/p/8987403.html

kettle 全局变量配置
https://www.jianshu.com/p/e537666a25a1

3，具体使用

windows上用界面（spoon.bat）画好job或者transform，形成文件。

在linux上部署kettle（kettle依赖jdk，下载kettle时候请自行斟酌），把文件发到linux服务器上，用kitchen.sh执行（我写的都是job，执行transform用pan）

定时任务用linux自带的crontab，基本能满足要求了。（也可以用xxl-job）

4，关于部署

画文件倒是画的好好的，部署就遇到了很多坑（程序员的悲哀啊）

（1）关于DB连接配置，要配置在.kettle/kettle.properties里面，每个文件配置db连接的时候，用${dbxxx}的方式配置，这种方式可以很容易地区分测试版，正式版；

（2）关于日志，执行完job后成功与否，是要写进数据库的。关键是报错原因获取不到。所以kitchen执行的时候，kitchen打出来的日志，我会写进一个文本文件，后面再具体去查。

5，总结

kettle没有比较好的“帮助文档”，反正我没找到，欢迎打脸。

很多时候用一个组件，除了百度，更多时候是只能自己摸索。

其它都挺好用的。