NiFi Processors之ConsumeKafka

NiFi是一个数据处理和分发系统，其中很重要的一部分是处理器(Processors)。一个处理器组合系统间的数据路由、转换或调解。处理器可以访问给定FlowFile的属性及其内容流。处理器可以在给定的工作单元中对零个或多个FlowFile进行操作，并提交该工作或回滚。

本文介绍NiFi处理器之一 ：ConsumeKafka。

描述

ConsumeKafka可以从Kafka中消费信息，在NiFi 1.8.0版本中，ConsumeKafka已经拥有四个实现，分别是：ConsumeKafka_0_10，ConsumeKafka_0_11，ConsumeKafka_1_0，ConsumeKafka_2_0。这四个处理器后缀的版本分别对应相应的Kafka版本。

属性

这里只介绍我使用过的配置，这些配置在四个ConsumeKafka处理器中通用：

名称	默认值	允许值	描述	提示
Kafka Brokers	localhost:9092		逗号分隔的Kafka Brokers列表。	参考Kafka的配置项：listeners。
Topic Name(s)			逗号分隔的Kafka Topics列表。
Group ID				参考consumer.properties配置项：group.id。

动态属性

动态属性允许用户指定属性名和属性值。

ConsumeKafka的动态属性可添加Kafka的配置属性。