Kettle集群部署
1) Kettle集群简介
集群技术可以用来水平扩展转换,使得他们能够同时运行在多台服务器上。它将转换的工作量均分到不同的服务器上。这一部分,我们将介绍怎样配置和执行一个转换,让其运行在多台机器上。
一个集群schema由一台主服务器,和一些子服务器组成,主服务器作为一个集群的控制器。简单的说,我们提到的Carte控制服务器就是主服务器,其他的Carte服务器就是子服务器。
2) Kettle集群优劣势
集群的优点
和其它系统的集群一样,有以下优点:
1)多服务器运行,加快处理速度,对于大数据量的操作更明显。
2)防单点失败,一台服务器故障后其它服务器还可以运行。
集群的缺点
1)采用主从结构,不具备自动切换主从的功能。所以一旦主节点宕机,整个系统不可用。
2)对网络要求高,节点之间需要不断的传输数据。
3)需要更多的服务器,而且主节点没有处理能力(在该步骤没有处理能力,在其他的没有使用集群功能的步骤仍具有处理能力)。
适用场景
适合于:
1)需求kettle能时刻保持正常运行的场景。
2)大批量处理数据的场景。
3) linux下解压部署
解压安装包
将下载好的kettledata-integration.zip上传到linux服务器,解压放置目录下,每台节点都需要
命令:Tar zvcf data-integration.zip
解压完后执行sh kitchen.sh