Apache NiFi 安装与使用指南
nifi-siteApache NiFi website项目地址:https://gitcode.com/gh_mirrors/ni/nifi-site
1. 项目目录结构及介绍
在解压或克隆 apache/nifi-site.git
后,您将得到Apache NiFi的基本目录结构:
nifi/
├── bin/ 存放启动和停止NiFi的服务脚本
├── conf/ 包含NiFi的主要配置文件
├── lib/ 存放NiFi运行所需的jar包和其他库文件
├── logs/ 日志文件存储的位置
├── web/ 前端资源文件,包括NiFi UI
└── work/ 存储工作数据和临时文件的地方
- bin: 这是存放启动和停止单个节点或者集群的脚本的目录,如
start-nifi.sh
和stop-nifi.sh
。 - conf: 包含核心配置文件,如
nifi.properties
和flow.xml.gz
,它们定义了NiFi的行为和流程配置。 - lib: 放置NiFi运行时依赖的Java库文件。
- logs: 所有应用程序日志文件默认被写入此目录。
- web: 包含Apache NiFi的Web应用程序前端资源。
- work: 这里存储处理过程中的临时数据,例如队列中的数据和流文件。
2. 项目的启动文件介绍
主要的启动脚本位于 bin
目录下:
- start-nifi.sh: 用于在Linux环境下启动单个NiFi实例。
- start-nifi.bat: Windows操作系统下的启动脚本。
- niFi.sh cluster: 在集群模式下启动所有节点。
这些脚本通过设置环境变量并调用Java来启动NiFi。您可以通过修改 bin/nifi-env.sh
(或Windows下的 bin/nifi-env.cmd
)来定制Java路径和JVM参数。
3. 项目的配置文件介绍
主要配置文件
-
nifi.properties: 这是NiFi的核心配置文件,包含了服务器地址、端口、数据存储位置等关键配置。一些重要的配置项包括:
nifi.web.http.host
: HTTP服务监听的主机名。nifi.web.http.port
: HTTP服务监听的端口号。nifi.cluster.is.node
: 是否启用集群模式。
-
flow.xml.gz: 该文件定义了NiFi的数据处理流程,包括处理器、连接关系、输入和输出端口等。这个文件通常不在启动时更改,而是通过NiFi UI进行编辑。
-
bootstrap.conf: 用于配置NiFi守护进程,包含用于进程管理和安全相关的选项。
集群配置
对于集群部署,还需要配置以下文件:
- cluster-coordinator.properties: 配置集群协调器的相关属性。
- zooKeeper.properties: 如果使用ZooKeeper作为集群协调器,这里配置ZooKeeper的信息。
安全相关配置
- nifi-security.xml: 提供安全相关的配置,如SSL/TLS设置、用户身份验证和授权策略。
在修改配置文件之后,您需要重启NiFi以使改动生效。请确保正确备份配置文件,以防意外导致的问题。
请注意,实际部署时可能需要根据特定需求调整配置。更多详细信息可参考官方文档:Apache NiFi Documentation。
nifi-siteApache NiFi website项目地址:https://gitcode.com/gh_mirrors/ni/nifi-site