nifi集群_【NIFI】 Apache NiFI 集群搭建

最新推荐文章于 2023-05-11 15:55:54 发布

如丫丫

最新推荐文章于 2023-05-11 15:55:54 发布

阅读量554

点赞数

文章标签： nifi集群

本文链接：https://blog.csdn.net/weixin_42632434/article/details/112946817

版权

本文详细介绍了如何搭建Apache NiFi集群，包括Zero-Master Clustering架构，集群中每个节点的角色，以及如何配置和启动单机上的三个NIFI实例。集群配置涉及到ZooKeeper、端口设置和状态管理等内容。

摘要由CSDN通过智能技术生成

NiFI 集群介绍

NiFi集群架构

NiFi采用Zero-Master Clustering范例。集群中的每个节点对数据执行相同的任务，但每个节点都在不同的数据集上运行。其中一个节点自动选择(通过Apache ZooKeeper)作为集群协调器。然后，群集中的所有节点都会向此节点发送心跳/状态信息，并且此节点负责断开在一段时间内未报告任何心跳状态的节点。此外，当新节点选择加入群集时，新节点必须首先连接到当前选定的群集协调器，以获取最新流。如果群集协调器确定允许该节点加入(基于其配置的防火墙文件)，则将当前流提供给该节点，并且该节点能够加入群集，假设节点的流副本与群集协调器提供的副本匹配。如果节点的流配置版本与群集协调器的版本不同，则该节点将不会加入群集。

NiFI 集群搭建

环境

1、系统：CentOS 7.4

2、Java环境：JDK8

学会搭建ZooKeeper集群，更加容易理解NIFI集群搭建，请参考：【ZooKeeper】ZooKeeper安装及简单操作

使用NiFi集成的zookeeper

由于本例搭建三个节点的集群，且在一台机器上搭建，所以不同节点的相同功能端口会不同，如果搭建在三台机器上，IP不同，那么不同节点的相同功能端口可以相同

1、准备三个单机NIFI实例，如下：

2、编辑实例中，conf/zookeeper.properties文件，不同节点改成对应内容，内容如下：

1 # 1节点2181，2节点2182，1节点21832 clientPort=121813 initLimit=104 autopurge.purgeInterval=245 syncLimit=56 tickTime=20007 dataDir=./state/zookeeper8 autopurge.snapRetainCount=309

10 # 不同机器使用不同IP11 server.1=127.0.0.1:12888:1388812 server.2=127.0.0.1:14888:1588813 server.3=1