kettle集群模式部

1下载安装 

官方地址，下载可能较慢，   可以找对应国内镜像，启动kettle 必须提前安装java 环境

https://sourceforge.net/projects/pentaho/files/

8.2版本百度网盘链接

https://pan.baidu.com/s/1fqWvlycQf9USyT51eRDImQ

提取码：g9fn

解压安装

unzip    pdi-ce-8.2.0.0-11.zip

2 修改集群配置文件

 需要修改/data-integration/pwd  下的配置文件，目前我本地有2台机器，一台作为master 一台作为

slave1 为了方便区分，将主机名也改为了对应名称

需要修改其中master主机的carte-config-master-8080.xml 文件

参数说明：
name是节点名称
hostname是本机IP或主机名
port是监听端口
master：Y为本节点是主节点，N为本节点为从节点
username：集群界面登录用户名
password：集群界面登录密码  （默认账号和密码都为cluster ）

如果需要修改密码的话

#生成密码

sh encr.sh -carte 123456  

OBF:19iy19j019j219j419j619j8

替换pwd目录下kettle.pwd 对应的密钥

  <slaveserver>
    <name>master</name>
    <hostname>192.168.70.128</hostname>
    <port>8080</port>
    <master>Y</master>
    <username>cluster</username>
    <password>123456</password>
  </slaveserver>

修改slave1主机的carte-config-8081.xml 文件

  <masters>
   <slaveserver>
    <name>master</name>
    <hostname>192.168.70.128</hostname>
    <port>8080</port>
    <master>Y</master>
    <username>cluster</username>
    <password>123456</password>
  </slaveserver>
  </masters>

  <report_to_masters>Y</report_to_masters>

  <slaveserver>
    <name>slave1-8081</name>
    <hostname>192.168.70.129</hostname>
    <port>8081</port>
    <username>cluster</username>
    <password>123456</password>
    <master>N</master>
  </slaveserver>

启动master

后台启动用 nohup

carte.sh  ./pwd/carte-config-master-8080.xml

启动slave1

carte.sh    ./pwd/carte-config-8081.xml

启动成功后都可以访问对应的url页面

3在windows 启动spoon 配置转换再集群上执行

1 添加子服务器

新建一个转换添加如下配置

主对象树->转换->子服务器， 配置后右击设置分享，其他转换也可以共用

2 添加kettle集群schemas

主对象树->转换->kettle集群schemas

3添加运行配置

主对象树->转换->Run configuration，location 记得选集群

 4转换内容如下 

 读取表，排序，输出，在 排序记录 组件上右击 设置集群，选择对应的集群信息

tip : 如果是第一次配置读取数据库的话， 记得注意添加对应的mysql驱动，  8.0以后的版本需要注意，我用的是mysql-connector-java-5.1.46.jar ， 如果不行可以尝试一下其他版本

5运行job

执行之后，可以查看到每个主机上的日志，和执行任务的时间也可以在具体主机看日志

以下是carte 运行的日志

也可以去对应的日志文件查看日志，默认情况下日志文件在logs下的 pdi.log