Kettle — 集群使用

本文介绍了Kettle集群的使用,包括其在提高执行速度和容错能力方面的优势。详细阐述了Kettle集群的搭建过程,特别是动态模式下Carte服务器的配置,以及在转换中如何配置集群运行。此外,还提到了集群运行配置的关键步骤,如选择Clustered模式,确保主服务器仅负责任务分发和结果汇总,而从服务器执行具体转换。
摘要由CSDN通过智能技术生成

Kettle集群介绍

在Kettle中合理的使用集群可以加快执行的速度,并且还能在部分服务器宕机的情况下继续使用。在Kettle中集群是由一个主Carte服务器和多个从Carte服务器组成。在执行转换时,主服务器负责分发跟踪任务和收集结果总汇,从服务器负责具体的转换执行。在Kettle中,如果主服务器也宕机的话并不存在服务器(类似于redis、zookeeper等)重新选举的功能,也就是说一旦主服务器宕机,则Kettle集群就不能使用了。

使用场景

需要kettle集群的主要场景包括以下两点:

         1.转换中需要大量的计算以及其他耗时步骤

         2.需要系统持续不断的运行

Carte集群搭建

在Kettle的官方文档上说Carte的集群部署分为静态模式和动态模式,由于静态模式和动态模式部署区别不大,这里就直接使用比较灵活的动态模式。Carte集群的搭建还是非常简单的,我这里以本地搭建集群为例。

1.首先是将JDBC驱动程序拷贝到主从服务器上(如果是本地搭建不需要)

2.进入到PDI的pwd目录下,如下所示。

评论 7
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值