nifi -- cluster

预先安装：

1.      JDK1.8_66安装与环境变量设置

 

错误定位：

tail -fn300 /usr/nifi/nifi-1.0.0./logs/nifi-app.log

1.      修改各节点主机名，修改/etc/hosts文件内容。

10.0.2.15 master

10.0.2.4 slave1

10.0.2.5 slave2

2.       安装zookeeper分布式集群，设置各节点zookeeper环境变量。

3.      上传nifi-1.1.0-bin.tar.gz到/usr/nifi目录下，解压缩文件。

4.      配置nifi的环境变量。

5.      修改bin/nifi-env.sh文件，去掉export JAVA_HOME前的#号，加上JDK安装目录路径。

6.      修改conf/nifi.properties文件。

 

#设置WEB UI横幅文字

nifi.ui.banner.text=Nifi-1.1.0-Cluster

 

#不使用内部zookeeper启动Nifi

nifi.state.management.embedded.zookeeper.start=false

 

#各节点Site2Site协议接口配置

nifi.remote.input.host=master

nifi.remote.input.secure=false

nifi.remote.input.socket.port=10443

 

nifi.web.http.host=master

nifi.web.http.port=8081

 

nifi.cluster.protocol.is.secure=false

nifi.cluster.is.node=true

nifi.cluster.node.address=master

nifi.cluster.node.protocol.port=11443

 

#zookeeper连接字符串

nifi.zookeeper.connect.string=master:2182,slave1:2182,slave2:2182

 

7.      拷贝nifi-1.1.0文件夹到两个从节点主机上。

scp -r /usr/nifi/nifi-1.1.0 root@slave1:/usr/nifi/

scp -r /usr/nifi/nifi-1.1.0 root@slave1:/usr/nifi/

8.      拷贝/etc/profile文件到两个从节点，主要是省掉改环境变量的步骤。

9.      修改两个从节点的nifi.properties文件,修改其中的主机名称。

Slave1:

nifi.remote.input.host=slave1

nifi.web.http.host=slave1

nifi.cluster.node.address=slave1

Slave2:

nifi.remote.input.host=slave2

nifi.web.http.host=slave2

nifi.cluster.node.address=slave2

10.  启动分布式zookeeper。

各节点执行zkServer.sh start。启动后使用zkServer.sh status查看各节点状态，正常情况下会有一个leader其他的全部是follower。

11.  启动各节点nifi。

nifi.sh start

12.  检查nifi启动情况

A.     jps检查各节点是否启动了Nifi和RunNifi进程

B.     netstat –apnt | grep java确认nifi相关端口启动：WEB UI端口8081，集群通信socket端口11443，Site2Site协议端口10443

13.  确认12无误后，进入WEB UI界面。

实机直接浏览器输入nifi分布式集群任节点的IP加WEB UI端口8082，http://<host>:<port>/nifi；

虚拟机如果使用NAT方式，需要映射端口，使用http://127.0.0.1:<映射端口>/nifi，使用桥接方式与实机描述一样。