基于linux环境下 kettle 8.2.0的应用

kettle 可以在Windows平台或者linux平台运行，我这边考虑做集群部署模式，所以采用linux环境，详细的部署（https://blog.csdn.net/weixin_42575806/article/details/113542806）和跨平台操作（https://blog.csdn.net/weixin_42575806/article/details/113546635）

见之前的博客 记录。

本文主要采用基于linux集群下面的kettle使用

1. 创建Transformation 选择input--》table input 创建数据抽取表（直接拖拽到主界面中即可）

设置源数据库地址，我这边主要是mysql，配置完成 后需要test测试一下；

备注说明：如果test报数据库缺少jdbc驱动 需要下载对应的数据库驱动（mysql-connector-java-5.1.48.jar，mysql-connector-java-8.0.17.jar）

 

2. 选择output--》insert/update (直接拖拽到主界面)

注意事项：

1）ignore  insert errors 一定需要勾选。原因是第一次导入是成功的，第二次导入与第一次可能存在重复的条数就会导致抽取insert失败（如果你能保障每次抽取的都是最新不重复的数据也可以，那就需要修改input中的SQL语句 ） 

2）选择input 按住shift 再次点击input 再连接output形成依赖关系。这样才能实现getfile配置

 

2. 重新创建Transformation 选择input--》table input 创建数据抽取表（直接拖拽到主界面中即可）

 

output选择Update 

3. 创建一个job任务  选择general-》start 直接拖拽到主界面中即可）

设置定时任务的时间并选择repeat 重复执行，执行类型 可以按照分钟 也可以按照天 星期，月份等

 insert和update依次添加xx.ktr(就是前面创建的Transformation文件)，配置好后直接点击运行，定时会执行对应的数据抽取功能。