Liunx中部署Kettle集群

弥生i

已于 2023-07-04 12:58:17 修改

阅读量3.5k

点赞数 2

分类专栏：大数据文章标签：服务器 ssh linux 数据仓库运维

于 2023-02-13 09:36:29 首次发布

本文链接：https://blog.csdn.net/qgwqgw/article/details/128985903

版权

大数据专栏收录该内容

2 篇文章 1 订阅

订阅专栏

本文介绍了在Centos7环境下，如何部署Kettle集群，包括JDK的安装、SSH免密登录的设置、Kettle的安装与测试、集群配置以及Carte服务的开启。同时，文章强调了注意事项，如资源管理及集群只能在图形化界面使用。

摘要由CSDN通过智能技术生成

文章目录

一、部署环境

环境：
JDK 1.8
Centos7
Kettle 8.2.0
Kettle组件：
Spoon：图形化工具，用于快速设计和维护复杂的ETL工作流。
Kitchen：运行作业的命令行工具。
Pan：运行转换的命令行工具。
Carte：轻量级的（大概1MB）Web服务器，用来远程执行转换或作业，一个运行有Carte进程的机器可以作为从服务器，从服务器是Kettle集群的一部分。

二、搭建步骤

1、Linux下JDK环境搭建

检查是否有java环境
java -version
没有则搭建

date查看各服务器之间时间是否同步

date
yum -y install ntp 
ntpdate -u cn.pool.ntp.org

2、各服务器之间开启SSH免密登录

检查是否已安装SSH服务
```
ssh
```
没有则安装

输入sudo apt-get update命令以实现更新Ubuntu系统

输入sudo apt-get install openssh-server命令以安装ssh
检查是否启动SSH服务
```
service --status-all | grep ssh
```
启动ssh服务
```
sudo service sshd start
```
在主机A上生成rsa密钥对
```
ssh-keygen -t rsa
```
三次回车后会在root目录下生成“.ssh”文件夹，里面会有两个文件，分别是id_rsa和id_rsa.pub
id_rsa：是本机的私钥，在使用ssh协议向其它主机传输数据前，主机会使用该私钥对数据进行加密
id_rsa.pub：是本机的公钥，因为ssh协议采用非对称加密法（公钥可以用来解密使用私钥进行加密的数据，同样，私钥也可以用来解密公钥进行加密的数据），所以主机一般将该公钥放到其它需要远程登录到的主机的ssh服务器中
将主机A上生成的公钥传到主机B中
一是使用命令：
在主机A的命令行上执行，就可以将主机A上生成的公钥传到主机B中。
```
ssh-copy-id 主机B用户名@主机Bip
```
二是手动操作：
首先在主机A上执行命令
```
scp .ssh/id_rsa.pub 主机B用户名@主机Bip:~/home
```
命令执行成功后会将主机A的公钥传到主机B的家目录里。
切换到主机B，命令行执行
```
cat ~/home/id_rsa.pub >> ~/.ssh/authorized_keys
```
将主机A的公钥添加到主机B的授权列表中。
免密登录
- 在主机A上重启ssh服务systemctl restart sshd
- 再执行ssh 用户名@ip，你会发现已经免密登录了。

3、查看所需端口是否被占用

netstat -ntlp   //查看当前所有tcp端口
netstat -ntulp | grep 80   //查看所有80端口使用情况

jps命令失效,进行安装

yum install java-1.8.0-openjdk-devel.x86_64

4、Linux下Kettle安装

官网下载后将压缩包传入服务器中进行解压

unzip xxxx

5、测试Kettle是否安装成功

cd data-integration
./kitchen.sh

报错信息如下：

#######################################################################
WARNING:  no libwebkitgtk-1.0 detected, some features will be unavailable
    Consider installing the package with apt-get or yum.
    e.g. 'sudo apt-get install libwebkitgtk-1.0-0'
#######################################################################

解决方法：

wget ftp://ftp.pbone.net/mirror/ftp5.gwdg.de/pub/opensuse/repositories/home:/matthewdva:/build:/EPEL:/el7/RHEL_7/x86_64/webkitgtk-2.4.9-1.el7.x86_64.rpm

yum install webkitgtk-2.4.9-1.el7.x86_64.rpm

6、Kettle集群环境配置

Carte的配置文件所在路径：/kettlle/data-integration/pwd

在该目录下含有6个文件

一个主服务器配置文件

carte-config-master-8080.xml

四个从服务器配置文件

carte-config-8081.xml、carte-config-8082.xml

carte-config-8083.xml、carte-config-8084.xml

一个集群账号密码文件kettle.pwd（密码可以修改）

主服务器（carte-config-master-8080.xml）的配置内容为：
```
 <slaveserver>
   <name>master1</name>
   <hostname>localhost</hostname>
   <port>8080</port>
   <master>Y</master>
 </slaveserver>
```
name：指定Kettle主服务器名称

hostname：指定Kettle主服务器IP地址

port：指定Kettle主服务器端口号

master：指定是否是主服务器

伪分布式环境不需要配置该文件。

子服务器（carte-config-8081.xml）的配置内容为：

其中masters中，name、hostname、port需要和carte-config-master-8080.xml中完全一致

<masters>
    <slaveserver>
     <name>master1</name>
     <hostname>master</hostname>
     <port>8080</port>
     <username>cluster</username>
     <password>cluster</password>
     <master>Y</master>
    </slaveserver>
</masters>
  
  <report_to_masters>Y</report_to_masters>
  
  <slaveserver>
   <name>slave1-8081</name>
   <hostname>slave1</hostname>
   <port>8082</port>
   <username>cluster</username>
   <password>cluster</password>
   <master>N</master>
  </slaveserver>

其他从服务器依据以上配置，把主服务器中更改好的pwd文件夹分别覆盖其他服务器上的相应文件夹。
拷贝文件至目标主机ip
```
 scp -rp 待拷贝文件 用户名@目标主机ip:目标主机文件夹
```
从目标主机拷贝文件至本机
```
scp -rp 用户名@目标主机ip:目标主机待拷贝文件 拷贝至本机的文件夹
```

7、集群carte服务开启

启动主服务器

./carte.sh ip port

主服务器保持后台运行并将日志写入自定义文件

nohup /opt/Kettle/data-integration/./carte.sh 192.168.1.132 9090
/opt/Kettle/data-integration/logs/out.log 2>&1 &

启动从服务器

./carte.sh pwd/carte-config-8081.xml

从服务器保持后台运行并将日志写入自定义文件

nohup /opt/Kettle/data-integration/./carte.sh /opt/Kettle/data-integration/pwd/carte-config-9091.xml 
>/opt/Kettle/data-integration/logs/out.log 2>&1 &

服务开启成功
在这里插入图片描述

浏览器访问
ip：port
账号密码默认
cluster
主从服务Web登录如下：
在这里插入图片描述

8、在kettle图形界面中对集群进行设定

在本地打开kettle的图形化界面，新建一个test转换
在‘“转换”中选择“子服务器”，右键点击“新建”，在弹出对话框中把主从的服务器信息填入
在主对象树中，选择“Kettle集群schmas”，右键点击“新建”，在弹出对话框中把主从的服务器信息填入，然后点击“选择子服务器”，添加刚才新建的子服务器，然后确定。
在输出中右键选择“集群”，选择自己创建的“Schema”集群，点击“确定”
在“Run Configurations”中右键点击“新建”，填写如下参数
点击“运行”，选择自己创建的“测试集群”，最后点击“启动”即可

至此Kettle集群服务搭建完成。