kettle集群部署

本文详细介绍了Kettle集群的部署过程,包括集群的优劣势分析、Linux环境下解压部署的步骤、启动Carte服务的方法,以及Windows如何调用Linux环境下的集群。通过集群部署,可以提高数据处理速度,实现故障转移,并适用于大数据量处理和高可用性需求的场景。
摘要由CSDN通过智能技术生成

Kettle集群部署

1)  Kettle集群简介

    集群技术可以用来水平扩展转换,使得他们能够同时运行在多台服务器上。它将转换的工作量均分到不同的服务器上。这一部分,我们将介绍怎样配置和执行一个转换,让其运行在多台机器上。

一个集群schema由一台主服务器,和一些子服务器组成,主服务器作为一个集群的控制器。简单的说,我们提到的Carte控制服务器就是主服务器,其他的Carte服务器就是子服务器。

2)  Kettle集群优劣势

集群的优点

和其它系统的集群一样,有以下优点:

        1)多服务器运行,加快处理速度,对于大数据量的操作更明显。

        2)防单点失败,一台服务器故障后其它服务器还可以运行。

集群的缺点

         1)采用主从结构,不具备自动切换主从的功能。所以一旦主节点宕机,整个系统不可用。

         2)对网络要求高,节点之间需要不断的传输数据。

         3)需要更多的服务器,而且主节点没有处理能力(在该步骤没有处理能力,在其他的没有使用集群功能的步骤仍具有处理能力)。

适用场景

         适合于:

         1)需求kettle能时刻保持正常运行的场景。

         2)大批量处理数据的场景。

3)  linux下解压部署

解压安装包

下载好的kettledata-integration.zip上传到linux服务器,解压放置目录下,每台节点都需要

命令:Tar zvcf data-integration.zip

解压完后执行sh kitchen.sh

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值