Apache NiFi部署及使用

NiFi安装部署

  1. NiFi官网:https://nifi.apache.org/
  2. Apache NIFI中文文档 地址:https://nifichina.github.io/
  3. NiFi下载链接:https://nifi.apache.org/download/

Source 是源代码版,你需要自己编译成可执行软件。
Binaries是可执行版,直接下载解压就可以拿来用的,他已经给你编译好的版本。
在这里插入图片描述
在这里插入图片描述

  1. 安装环境:Java版本:jdk8,NiFi版本:nifi-1.24.0

Window系统

window系统:
bin文件中的文件内容,如下图。启动方式:双击run-nifi.bat,需要等待 1 - 5分钟 ( 根据电脑配置 ), 可以查看日志, 看到端口( 默认端口为8443 ),端口配置如下:
在这里插入图片描述在这里插入图片描述
访问网址:https://127.0.0.1:8443/
登录方式:
1、初始化账号和密码(查找方式,在logs文件中,找到第一次启动的log文件,搜索username关键词)
2、在conf/nifi.properties文件中设置匿名访问: 找到conf目录中的nifi.properties,设置nifi.security.allow.anonymous.authentication=true
3、设置登录账号,密码有要求,最低12位:./nifi.sh set-single-user-credentials admin 123456789012在这里插入图片描述> > 将run-nifi.bat中的run改为stop,即为停止服务的脚本在这里插入图片描述

Linux系统

Liunx系统:
与window上解压的文件夹一致。
运行的命令:./nifi.sh start,停止的命令:./nifi.sh stop,重启的命令:./nifi.sh restart,查看运行状态:./nifi.sh status
直接打出./nifi.sh回车,可以看命令详情

NiFi知识

NiFi基本概念

  • 概述:Apache NiFi 是一个易于使用、功能强大而且可靠的数据拉取、数据处理和分发系统,用于自动化管理系统间的数据流。
  • 核心概念:NiFi的基本设计概念与基于流程的编程的主要思想密切相关。以下是一些主要的NiFi概念以及它们如何映射到 FBP:
NiFi术语描述
FlowFile数据在NIFI中传输时封装的对象,分为属性(attribute)和内容,其中属性是键值对的头信息,内容为字符串。
FlowFile Processor数据处理器组件,通过选择不同的处理器,对数据进行不同的读写或者转换清洗等操作。
Connection处理器直接的连接,单个处理器可以有多个连接完成数据的分流。
Flow Controller流控制器管理连接器中的资源分配。
Process Group处理组,将多个处理器连接的链路封装起来作为一个组管理。
<think>好的,用户想了解如何部署使用Apache NiFi 2.3。首先,我需要回忆一下Apache NiFi的基本概念和主要功能。Apache NiFi是一个强大的数据流管理工具,用于自动化数据在系统间的传输和处理。版本2.3可能包含一些新特性或改进,需要确认是否有特别的部署要求。 接下来,部署步骤。通常,部署Apache NiFi可以通过下载二进制包、解压、配置然后启动。可能需要提到系统要求,比如Java环境,因为NiFi是基于Java的。用户可能需要安装JDK 8或更高版本,并设置JAVA_HOME环境变量。另外,配置文件的调整,比如nifi.properties,可能需要调整端口、内存设置等。 然后,配置部分。用户可能需要了解如何配置数据流处理器、连接控制器服务、设置安全(比如SSL/TLS、用户认证)等。NiFi的Web界面是主要的操作入口,所以需要说明如何访问界面,默认端口是8443,但可能需要修改。 使用指南部分,应该包括创建数据流、添加处理器、配置处理器属性、连接处理器、启动数据流等步骤。可能需要举例说明一个常见的数据流,比如从文件系统读取数据,处理后上传到数据库或另一个系统。 此外,用户可能关心集群部署,因为NiFi支持集群模式以提高可用性和扩展性。需要解释如何配置集群节点,ZooKeeper的作用,以及如何管理集群状态。 安全性也是一个重要方面,特别是如果用户处理的是敏感数据。需要提及如何启用HTTPS,设置用户权限,集成LDAP或Kerberos等认证方式。 最后,常见问题及故障排除。比如服务无法启动、端口冲突、性能调优等。可能需要给出日志查看的位置,如何调整JVM参数优化性能,以及如何监控数据流的运行状态。 还需要检查是否有最新的官方文档更新,确保建议的步骤适用于2.3版本。可能还需要参考用户提供的引用资料,但看起来引用[1]是关于数据管理的规划指南,可能与NiFi的具体部署关联不大,但可以提到数据管理的最佳实践作为补充。 生成的相关问题可能需要涉及版本升级、安全配置、集群配置、性能优化等,这些都是用户在部署使用过程中可能遇到的后续问题。</think>### Apache NiFi 2.3 部署使用指南 #### 1. 部署步骤 **1.1 系统要求** - Java 环境:需安装 JDK 8 或更高版本,并配置 `JAVA_HOME` 环境变量[^1]。 - 内存建议:至少分配 2GB 堆内存(通过修改 `conf/bootstrap.conf` 中的 `java.arg.2=-Xms512m -Xmx2048m`)。 **1.2 下载与安装** - 从 [Apache NiFi 官网](https://nifi.apache.org/) 下载 2.3 版本二进制包。 - 解压文件:`tar -xzf nifi-2.3.0-bin.tar.gz`。 **1.3 基础配置** - 修改 `conf/nifi.properties`: ```properties # Web 端口配置 nifi.web.http.port=8080 nifi.web.https.port=8443 # 集群配置(单机可跳过) nifi.cluster.is.node=false ``` - 启动 NiFi:`./bin/nifi.sh start`(Linux)或 `bin\\nifi.bat run`(Windows)。 #### 2. 使用指南 **2.1 Web 界面访问** - 浏览器访问 `https://localhost:8443/nifi`(首次需信任自签名证书)。 **2.2 创建数据流** 1. **拖放处理器**:从左侧面板拖拽 `GetFile`(读取文件)到画布。 2. **配置处理器**:双击处理器,设置输入目录(如 `/opt/nifi/input`)。 3. **添加处理器**:连接 `PutFile`(输出文件)并配置输出目录。 4. **连接流**:通过箭头链接处理器,设置数据传输关系。 **2.3 数据流监控** - 通过仪表盘查看吞吐量、队列状态等指标。 - 使用 `Provenance` 功能追踪数据来源和去向。 #### 3. 安全配置 - **启用 HTTPS**:在 `nifi.properties` 中配置证书路径: ```properties nifi.security.keystore=/path/to/keystore.jks nifi.security.truststore=/path/to/truststore.jks ``` - **用户认证**:通过 `conf/login-identity-providers.xml` 集成 LDAP 或 OpenID Connect。 #### 4. 集群部署(可选) 1. 修改所有节点的 `nifi.properties`: ```properties nifi.cluster.is.node=true nifi.cluster.node.address=node1.example.com nifi.zookeeper.connect.string=zk1:2181,zk2:2181 ``` 2. 启动 ZooKeeper 集群,并依次启动 NiFi 节点。 #### 5. 性能优化 - **JVM 调优**:调整 `bootstrap.conf` 中的堆内存参数。 - **线程池配置**:在 `nifi.properties` 中优化 `nifi.bored.yield.duration` 和 `nifi.queue.backpressure.count`。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值