Kettle集群介绍
在Kettle中合理的使用集群可以加快执行的速度,并且还能在部分服务器宕机的情况下继续使用。在Kettle中集群是由一个主Carte服务器和多个从Carte服务器组成。在执行转换时,主服务器负责分发跟踪任务和收集结果总汇,从服务器负责具体的转换执行。在Kettle中,如果主服务器也宕机的话并不存在服务器(类似于redis、zookeeper等)重新选举的功能,也就是说一旦主服务器宕机,则Kettle集群就不能使用了。
使用场景
需要kettle集群的主要场景包括以下两点:
1.转换中需要大量的计算以及其他耗时步骤
2.需要系统持续不断的运行
Carte集群搭建
在Kettle的官方文档上说Carte的集群部署分为静态模式和动态模式,由于静态模式和动态模式部署区别不大,这里就直接使用比较灵活的动态模式。Carte集群的搭建还是非常简单的,我这里以本地搭建集群为例。
1.首先是将JDBC驱动程序拷贝到主从服务器上(如果是本地搭建不需要)
2.进入到PDI的pwd目录下,如下所示。