NIFI集群搭建

NIFI集群搭建

分类专栏： NIFI

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/qq_19397397/article/details/80007806

一、Nifi配置

1)  nifi基本配置

1.      jdk配置：nifi新版本要求jdk版本必须1.8以上

目录：bin/nifi.env.sh

       export JAVA_HOME=/home/user/opt/jdk1.8.0_144

   忽略此项配置，nifi将使用系统默认Java环境启动。

2.  nifi运行内存配置

目录：conf/bootstarp.conf

  java.arg.2=-Xms512m

   java.arg.3=-Xmx20480m

   根据服务器性能合理设置nifi内存

3.  nifi日志配置

目录：conf/logback.xml

4.  nifi端口配置

目录：conf/nifi.properties

nifi.web.http.port=18083

默认为8080端口。

5.  nifi基本命令

nifi.sh start 启动

nifi.sh stop 关闭

nifi.sh restart 重启

nifi.sh status 状态

以上基本配置完成，可单节点模式启动nifi。

 

 

2)  nifi集群配置

1.      配置zookeeper

目录：conf/zookeeper.properties

clientPort=2181 zookeeper端口

 

server.1=ip1:2888:3888

server.2=ip2:2888:3888

server.3=ip3:2888:3888

         zookeeper服务器设置，nifi集群有多少节点需要配置server

         server.1中的数字1为服务器的ID，需要与myid文件中的id一致，下一步将配置myid。

2.      配置myid

在nifi目录下创建文件夹/state/zookeeper/并创建文件myid

文件内容与第一步中的server.id一致。

3.      配置state-management.xml

目录：conf/state-management.xml

<cluster-provider>

        <id>zk-provider</id>

        <class>org.apache.nifi.controller.state.providers.zookeeper.ZooKeeperStateProvider</class>

        <property name="ConnectString">ip1:2182,ip2:2182,ip3:2182</property>

        <property name="RootNode">/nifi</property>

       <property name="Session Timeout">10seconds</property>

        <property name="AccessControl">Open</property>

   </cluster-provider>

Connect String配置为nifi节点的ip加zookeeper端口号，以逗号分隔

4.      配置nifi节点属性

目录：conf/ nifi.properties

nifi.state.management.embedded.zookeeper.start=true

使用内置zookeeper

nifi.zookeeper.connect.string=ip1:2182,ip2:2182,ip3:2182

与上一步中的connect string一致。

 

下面配置需每个节点单独配，根据节点的IP相应配置，保持集群中节点使用的端口一致

  nifi.cluster.is.node=true

nifi.cluster.node.address=本机IP

nifi.cluster.node.protocol.port=9999

nifi.remote.input.host=本机IP

nifi.remote.input.secure=false

nifi.remote.input.socket.port=9998

nifi.web.http.host=本机IP

      

配置完成后即可依次启动节点，集群将选举产生主节点。

 

 

 

 

 

 

二、Nifi界面

 

 

1-8为nifi提供的组件可以拖到下方的画布上使用。

1：processor ：nifi提供的多种处理器。

2：input port：flowfile数据进入节点。

3：output port flowfile数据输出节点。

4：group组，可以将多种处理器放入同一个组中，组与组之间可以通过input port和output port传输flowfile数据。

5：Remote process group：远程进程组，可将flowfile发送至别的节点。

6：Funnel：汇聚flowfile数据。

7：Template：可拖放导入的模板配置。

8：Leble：文字板

9-18为nifi的基本状态栏

9：nifi集群节点状态。9/9表示有集群中有九个节点，并九个节点都在线。

10：nifi当前运行线程数。

11：nifi当前队列中待执行的flowfile的size及大小

12：nifi启动的远程进程组。

13：nifi未启动的远程进程组。

14：nifi启动的处理器

15：nifi未启动的处理器。

16：nifi配置不可用的处理器

17：nifi废弃不用的处理器。

18：nifi界面最新刷新时间。

19：nifi画布缩略图及操作按钮。

20：当前位置。

1)  总览界面

Summary 摘要包含处理器，GROUP等一系列整体摘要信息。

Counters 计数器界面，需要配合计数器处理器（UpdateCounter）使用。

Bulletin Board nifi通讯信息页面。

Date Provenance flowfile数据总览。

Controller Settings 设置界面，可以配置线程数等一些设置。

Flow conf History nifi配置历史。

Cluster nifi集群模式时，可以查看集群状态，管理节点。