Kettle数据抽取——创建转换的详细步骤(集群模式运行)

Kettle使用教程(集群模式提交)

Kettle自己有三个主要组件:Spoon,Kitchen,Pan。其中Spoon是一个图形化的界面,用于windows的时候,先设置环境变量:pentaho_java_home,例如:C:\Program Files\jdk1.8,其实就是你的java安装目录,1.6以上即可。windows下双击Spoon.bat就可以了,界面如下:
在这里插入图片描述

全量数据抽取示例(以Postgresql到Postgresql为例)

文件->新建转换

在这里插入图片描述

  1. 新建转换后在左边的主对象树中建立DB连接用以连接数据库。如图所示:
    在这里插入图片描述

  2. 创建DB连接信息(以Postgresql为例)
    在这里插入图片描述

  3. 数据库连接高级配置

    • 指定默认连接Scheme信息
      在这里插入图片描述
  4. 配置成功后点击测试或者浏览验证连接配置是否正确
    在这里插入图片描述

  5. 在核心对象树中的输入创建表输入(拖拽或者双击)在这里插入图片描述

  6. 双击拖过来的表,可以编辑表输入,选择数据库连接和编辑sql语句。
    在这里插入图片描述

  7. 在核心对象树中的输出创建表输出(拖拽或者双击)

  8. 通过“跳”将两个操作关联(或者按下shift键将表输入指向表输出)
    在这里插入图片描述

  9. 设置表输出

  • 表输出时可以通过主选项设置导出数据的自动分区依据
  • 可以通过勾选指定数据库字段然后在数据库字段选项设置表输入与表输出之间的字段对应关系
    在这里插入图片描述
  1. 创建子服务器连接
    在这里插入图片描述
  • master节点(勾选主服务器)
    在这里插入图片描述

  • slave1节点
    在这里插入图片描述

  • slave2节点
    在这里插入图片描述

  1. 创建Kettle集群
    在这里插入图片描述
  • 点击选择子服务器将三台机器全选
    在这里插入图片描述

  • 最终配置页面
    在这里插入图片描述

  1. 创建运行配置
    在这里插入图片描述
  • 最终配置界面
    在这里插入图片描述
  1. 运行转换示例(集群模式运行)
    在这里插入图片描述
  • 配置运行模式为刚才配置的集群运行模式、日志级别为详细
    在这里插入图片描述
  1. 查看运行结果

©️2020 CSDN 皮肤主题: 黑客帝国 设计师:上身试试 返回首页