NIFi 集群环境部署 使用外部zookeeper
前言
因为集群环境部署是采用的 外部 Zookeeper ,因此 需要 服务器上先部署好 Zookeeper 的集群环境
一、安装包下载解压
此次安装选用的是 NiFi 1.12.0 版本 大家自行下载https://archive.apache.org/dist/nifi/
# 解压 先选一台服务器进行操作
tar -zxvf nifi-1.12.0-bin.tar.gz
# 将压缩之后的 nifi 目录及文件上传到其他两个服务器上
scp -r /usr/local/nifi/nifi-1.12.0 root@node02:/usr/local/nifi
scp -r /usr/local/nifi/nifi-1.12.0 root@node03:/usr/local/nifi
二、修改配置
以下配置 集群环境的三个节点 都要进行配置
1.修改nifi.propries
进入 nifi 目录
cd /usr/local/nifi/nifi-1.12.0/conf
编辑 nifi.properties 文件
# 指定不使用 内嵌的 zookeeper
nifi.state.management.embedded.zookeeper.start=false
# web页面启动 http 和 https 只能选择一种方式
# web properties #
# http 主机地址
nifi.web.http.host=node01
# http 端口 默认8080, 避免冲突 改为58080
nifi.web.http.port=58080
# 配置集群节点
# 节点加入集群 指定地址端口
nifi.cluster.is.node=true
nifi.cluster.node.address=node01
nifi.cluster.node.protocol.port=16001
# 指定等待时间
nifi.cluster.flow.election.max.wait.time=1 mins
# 至少达到几个节点的集群
nifi.cluster.flow.election.max.candidates=1
# zookeeper properties, used for cluster management #
# 配置 zookeeper 集群环境 每台主机间用逗号分隔
nifi.zookeeper.connect.string=node01:2181,node02:2181,node03:2181
2.修改state-management.xml 文件
进入 nifi 目录
cd /usr/local/nifi/nifi-1.12.0/conf
编辑 state-management.xml 文件
<cluster-provider>
<id>zk-provider</id>
<class>org.apache.nifi.controller.state.providers.zookeeper.ZooKeeperStateProvider</class>
<property name="Connect String">node01:2181,node02:2181,node03:2181</property>
<property name="Root Node">/nifi</property>
<property name="Session Timeout">10 seconds</property>
<property name="Access Control">Open</property>
</cluster-provider>
三、启动
进入 nifi 启动文件目录
cd /usr/local/nifi/nifi-1.12.0/bin
执行命令
./nifi.sh start
浏览器查看
http:IP地址:58080/nifi 即可看到 NiFi web 页面
三台服务器都启动之后 每台服务器 都可成功进入页面
./nifi.sh status 查看状态
./nifi.sh stop 停止服务
./nifi.sh restart 重启 服务