深度探索Apache NiFi：关键技术学习路径与实战指南

小码快撩

已于 2024-04-26 16:37:50 修改

阅读量3.4w

点赞数 21

文章标签：学习

于 2024-04-03 10:15:00 首次发布

本文链接：https://blog.csdn.net/2301_78813969/article/details/137271389

版权

引言

Apache NiFi 是一款强大的开源数据集成工具，以其直观的可视化界面、低延迟的数据移动和高度灵活的数据处理能力备受瞩目。本文旨在为初学者和进阶开发者提供一套全面的NiFi技术学习路径，帮助您从基础概念出发，逐步掌握其核心功能，并应用于实际场景。

一、基本概念和架构

Apache NiFi 是一个易于使用、强大且可靠的系统，用于处理和传输大量数据。NiFi 提供了一种图形化的、基于流的数据处理模式，使得数据摄取、转换和分发变得非常直观和高效。下面将详细介绍NiFi的基本概念和架构。

基本概念：

FlowFile: FlowFile 是NiFi中数据流的基本单元，它不仅包含数据本身，还包括有关数据的丰富元数据，如优先级、大小、属性等。FlowFile可以在数据流的不同阶段流转，并且允许在整个过程中附加元数据。
处理器（Processor）: 处理器是NiFi中执行特定任务的模块，比如读取文件、转换数据、路由数据流、写入数据库等。处理器是NiFi数据流设计的基础构建块，可以通过配置参数和表达式语言（Expression Language, EL）定制其行为。
连接（Connection）: 连接器用于在处理器之间传输FlowFile，支持背压（backpressure）机制，可根据条件限制FlowFile在连接处堆积的数量，防止系统因负载过高而崩溃。
控制器服务（Controller Services）: 控制器服务提供了一种全局或进程组级别的服务，例如数据库连接池、安全服务、Kerberos认证、SSL/TLS配置等，这些服务可以被多个处理器共享和重用。
流程组（Process Group）: 流程组是一系列处理器、控制器服务和其他流程组的容器，允许组织和管理复杂的处理逻辑，同时也支持子流程组之间的数据流。
模板（Template）: NiFi允许用户保存和分享数据流设计为模板，便于在其他环境中快速复用或部署相同的数据处理流程。

架构：
NiFi 的架构主要包括两个核心部分：Web Server 和 Flow Controller。

Web Server: 提供基于HTTP的用户接口和命令与控制API，使得用户能够通过浏览器界面直观地设计和监控数据流。
Flow Controller: NiFi的核心逻辑组件，负责解析和执行用户在界面上设计的数据流拓扑结构，分配处理器所需的线程资源，并管理FlowFile的生命周期。

此外，NiFi还支持分布式部署，形成集群环境，其中包含了主协调节点（Primary Node）和工作节点（Worker Nodes），以支持大规模数据处理和高可用性。

总的来说，NiFi通过其精心设计的架构和一系列丰富易用的概念，为用户提供了一个强大且灵活的数据处理和管理系统，广泛应用于实时数据集成、ETL、物联网(IoT)数据处理等多种场景。

二、处理器（Processors）

Apache NiFi 的处理器（Processors）是其核心组件之一，它们构成了NiFi数据流设计的基础元素，负责执行数据摄取、处理、路由和交付的任务。每个处理器都有自己的配置选项和输入输出端口，可以将数据从上游处理器流向下游处理器。NiFi提供了丰富的内置处理器，涵盖了从数据源抓取、转换、清洗、归档到最终目标存储的各个环节。
处理器的特点包括：

1.多样化的功能：

数据获取：如GetFile、GetHTTP、ListenTCP等处理器，可以从各种来源获取数据。
数据处理：如ExecuteScript（支持Groovy、Python等多种脚本语言）、SplitText、EncryptContent等处理器，对数据进行各类变换和加工。
数据路由：如RouteOnAttribute、RouteOnContent等处理器，根据数据属性或内容决策数据流向。
数据存储和导出：如PutFile、PutDatabaseRecord、PublishKafka等处理器，将数据写入到不同的目标系统中。

2.可配置性：

每个处理器都有详细的配置选项，允许用户指定文件路径、数据库连接、HTTP请求参数等具体细节。
支持使用表达式语言（Expression Language, EL）动态评估属性值，适应不同场景的需求。

3.容错与弹性：

处理器支持背压控制，能够在流量过大时减慢或暂停数据流，防止系统过载。
错误处理策略多样化，包括重试、路由到错误分支、记录到Provenance Repository等。

4.扩展性：

开发者可以基于NiFi API开发自定义处理器，以满足特殊业务需求。

5.批处理支持：

许多处理器支持批处理模式，能够高效地处理大量数据。

6.控制器服务集成：

处理器可以关联和使用控制器服务，例如共享数据库连接、访问安全密钥、实施策略等。

总之，NiFi的处理器是构建复杂数据集成解决方案的基石，它们通过灵活的组合和配置，可以实现几乎任何类型的数据流处理场景。随着社区的持续贡献和版本迭代，NiFi提供的处理器数量和功能一直在增加和增强。

三、控制器服务（Controller Services）

Apache NiFi 中的控制器服务（Controller Services）是一种核心特性，它提供了一种集中管理和共享资源的方式，这些资源在整个数据处理流程中可以被多个处理器复用。通过这种方式，控制器服务增强了系统的模块化和管理效率。以下是关于NiFi控制器服务的一些关键要点：

1.作用：

控制器服务主要用于提供共享的配置和状态，比如数据库连接池、安全凭据存储、SSL上下文、HTTP客户端配置、Kerberos服务 tickets 管理等。
它们可以确保处理器实例能够安全、高效地访问所需的外部系统或资源，而不是每个处理器独立创建和管理这些资源。

2.配置与激活：

在NiFi UI中，管理员可以在全局或流程组级别定义并配置控制器服务。
配置完成后，控制器服务需要被启用（activate）。只有激活的控制器服务才能被与其兼容的处理器引用和使用。

3.引用与依赖：

在处理器的配置界面中，如果某个属性支持链接到控制器服务，那么可以选择相应的控制器服务类型进行绑定。
如果处理器尝试引用一个不存在或者类型不匹配的控制器服务，就会出现错误提示：“找不到适用于此属性的控制器服务类型”。

4.生命周期管理：

控制器服务的生命周期状态包括禁用、启用、运行、停止等，可以根据实际需求动态调整。
当控制器服务的状态发生变化时，依赖它的所有处理器会相应地受到影响，可能暂停工作直到服务重新可用。

5.示例：

DBCPConnectionPool 是一种常用的控制器服务类型，它为处理器提供了一个数据库连接池，允许处理器按需获取和释放数据库连接，避免了频繁建立和关闭连接的开销。

总之，在NiFi中，控制器服务作为基础设施层的一部分，对于简化配置、提高资源利用率和实现复杂数据集成场景的灵活性至关重要。

四、数据流设计

Apache NiFi 是一个高度可视化的数据集成和处理平台，其设计核心围绕着数据流的概念。在NiFi中设计数据流主要包括以下几个关键步骤：

1.启动NiFi实例：

打开NiFi的用户界面，登录到NiFi控制台。

2.创建Process Group：

数据流通常在一个或多个Process Group内构建，这有助于组织和管理相关的处理器及其连接关系。
在画布上右键点击可新建Process Group，每个组可以代表一个逻辑单元的数据处理流程。

3.添加处理器（Processors）：

在Process Group内，通过点击工具栏上的“+”按钮，选择"Add Processor"来添加新的处理器组件。
NiFi提供了大量的内置处理器，如GetFile用于从文件系统读取数据、PutDatabaseRecord用于写入数据库、InvokeHTTP用于执行HTTP请求等。

4.配置处理器：

对于每个添加的处理器，需要对其进行详细的配置，包括设置属性、调度策略、控制器服务引用等。
例如，若使用GetFile处理器，则需指定源文件目录及文件过滤规则；对于需要数据库交互的处理器，则可能需要绑定到已配置的数据库连接池Controller Service。

5.建立连接关系：

处理器之间通过连线表示数据流方向，连线代表数据从一个处理器的输出流向另一个处理器的输入。
连线还可以具有动态属性（Dynamic Properties），以便传递上下文信息或进行条件路由。

6.验证与启动数据流：

完成数据流设计后，应确保所有处理器都正确配置且相互兼容，无未解决的依赖问题。
启动整个Process Group或者单个处理器，让数据开始流动并监控其运行状态。

7.监控与调整：

使用NiFi UI中的仪表板和工具，可以实时查看数据流的状态、速率、队列大小等指标，并根据需求调整处理器参数或增加额外的错误处理机制。

通过上述步骤，可以在NiFi中构建复杂的数据摄取、转换、传输以及加载过程，实现端到端的数据流处理解决方案。

五、安全性与权限管理

Apache NiFi 提供了丰富的安全性与权限管理功能，确保数据流的安全性和可控性。以下是NiFi在安全性与权限管理方面的主要特点和功能：

1.身份验证（Authentication）：

支持多种身份验证方案，如基于文件的用户群组、LDAP、Kerberos、Active Directory等。
用户必须成功登录后才能访问NiFi实例并操作数据流。

2.授权（Authorization）：

NiFi采用了基于策略的访问控制模型，允许细粒度的权限分配。
可以对用户或用户组分配角色，每个角色有对应的策略集，决定哪些操作是可以执行的，如读取、写入、修改数据流，或是管理用户和策略本身等。

3.策略（Policies）：

策略应用于Process Groups、Components（如处理器、控制器服务等）、Template以及Tenants等不同层级，定义谁能访问或修改特定资源。
可以限制用户对特定数据流部分的可见性，以及能否编辑或启动/停止组件。

4.租户隔离（Tenant Isolation）：

NiFi支持多租户模式，允许多个组织在同一实例上独立工作，各自拥有自己的数据流和资源。
租户间资源隔离可通过权限策略实现，防止未经授权的访问和操作。

5.加密通信（Secure Communication）：

支持HTTPS和SSL/TLS加密协议，保证数据在传输过程中不被窃听。
内部通信可以通过SSL加密，确保敏感信息在NiFi内部组件间的传输安全。

6.审计与日志记录（Auditing and Logging）：

NiFi提供详细的审计跟踪，记录用户的活动历史，便于追踪和分析系统行为。
日志系统可用于故障排查和合规性检查，记录重要的系统事件和安全相关的信息。

综上所述，NiFi的安全性与权限管理系统旨在确保用户只能在其权限范围内操作，同时提供强大的安全防护措施，以应对潜在的安全威胁和合规要求。

六、性能优化与监控

Apache NiFi 的性能优化和监控主要涉及以下几个方面：

性能优化

1.资源配置：

根据预期的流量和负载调整Java虚拟机（JVM）堆内存和其他相关配置参数。
根据硬件资源合理分配CPU核数给NiFi进程，尤其在集群部署时考虑合适的并发任务数。

2.处理器配置：

设置合适的调度策略和优先级，确保高优先级的任务得以及时处理。
适当增加处理器的吞吐量（Back Pressure Object Thresholds），控制队列大小，避免由于队列溢出导致的性能下降。

3.数据分区与并行处理：

利用PartitionRecord等处理器进行数据分区，实现水平扩展和并行处理，提高整体处理速度。
在必要时使用Clustered Processors进行跨节点的并行处理。

4.缓存与持久化：

使用Cache或Persistent Queues减少磁盘IO压力，特别是在数据源不稳定或网络延迟较高的场景下。
优化数据压缩与解压算法，减小网络传输带宽占用。

5.控制器服务优化：

优化数据库连接池大小、HTTP连接管理等控制器服务配置，减少资源争抢和等待时间。

6.集群扩展：

根据负载情况适时扩展NiFi集群规模，分散负载并提高总体处理能力。

监控

1.内置监控工具：

使用NiFi自带的仪表板（Dashboard）监控系统总体健康状况，包括处理器状态、队列大小、数据流速率等。
查看公告板（Bulletin Board）了解处理器的错误和警告信息。

2.指标监控：

利用NiFi的Metrics Registry收集和报告各种性能指标，包括但不限于CPU使用率、内存使用、线程池统计等。
使用Prometheus、Grafana等第三方工具集成NiFi指标，实现高级监控和报警功能。

3.日志分析：

分析NiFi的日志文件，识别潜在的性能瓶颈或错误。

4.集群监控：

监控集群中各个节点的资源使用情况和工作负载均衡状况，确保资源有效利用。

5.定制化监控：

通过编写自定义处理器或利用NiFi的API接口，定制适合自己环境的监控方案。

通过持续监控和定期性能评估，结合上述优化措施，可以有效地提升Apache NiFi在各种复杂数据流处理场景下的性能表现和稳定性。

七、集成外部系统

Apache NiFi 提供了丰富的内置处理器和灵活的架构，使得集成外部系统变得相对简便和直观。以下是一些如何使用NiFi集成外部系统的方法：

1.数据源集成：

数据抽取：使用诸如GetFile、ListSFTP、ConsumeKafka等处理器从本地文件系统、远程SFTP服务器、Kafka队列等不同的数据源中抽取数据。
HTTP/REST API：通过InvokeHTTP或InvokeRESTApi处理器发送GET、POST等请求至其他系统的API，获取或推送数据。

2.数据目的地集成：

数据存储：使用如PutDatabaseRecord、PutHDFS、PutAzureDataLakeStorage等处理器将数据写入关系型数据库、Hadoop HDFS、Azure Data Lake等存储介质。
消息队列：使用如PublishKafka、PublishMQTT等处理器将数据发布到消息中间件系统，如Apache Kafka、MQTT Broker等。

3.数据转换：