kettle集群

Kettle中的集群

Kettle中的集群... 1

1     设计... 2

1.1      定义Cluster schema. 2

1.2     定义转换. 5

2     执行转换... 7

2.1     启动子服务器. 7

2.1.1       脚本启动... 7

2.1.2       程序启动... 9

2.1.3       子服务器内幕... 10

2.2     运行转换. 12

2.2.1       在spoon中运行... 12

2.2.2       编程运行... 13

2.2.3       运行内幕... 13

 

 

Kettle是一款开源的ETL工具，以其高效和可扩展性而闻名于业内。其高效的一个重要原因就是其多线程和集群功能。

Kettle的多线程采用的是一种流水线并发的机制，我们在另外的文章中专门有介绍。这里主要介绍的是kettle的集群。

   集群允许转换以及转换中的步骤在多个服务器上并发执行。在使用kettle集群时，首先需要定义的是Cluster schema。所谓的Cluster schema就是一系列的子服务器的集合。在一个集群中，它包含一个主服务器（Master）和多个从属服务器服务器(slave)。如下图所示。

    子服务器（Slave servers）允许你在远程服务器上执行转换。建立一个子服务器需要你在远程服务器上建立一个叫做“Carte”的 web 服务器，该服务器可以从Spoon(远程或者集群执行)或者转换任务中接受输入。

在以后的描述中，如果我们提到的是子服务器，则包括集群中的主服务器和从属服务器；否则我们会以主服务器和从属服务器来进行特别指定。

1           设计

要让转换是以集群方式执行，首先需要在Spoon中进行图形化的设计工作。定义一个以集群方式运行的转换，主要包括定义cluster schema和定义转换两个步骤。

 

1.1  定义Cluster schema

 

1.1.1.    创建子服务器

 

服务tab 选项

选项	描述
服务器名称	子服务器的名称
主机名称或IP地址	用作子服务器的机器的地址
端口号