大数据流处理：Flume、Kafka和NiFi对比

在本文中，我们将简要介绍三种Apache处理工具：Flume、Kafka和Nifi。这三款产品性能优异，可横向伸缩，并提供插件机制，可通过定制组件进行扩展。

Apache Flume

Flume部署由一个或多个使用拓扑配置的代理组成。Flume代理是一个JVM进程，它承载Flume拓扑的基本构建块，即源、通道和接收器。Flume客户机将事件发送到源，然后将它们成批地放在名为channel的临时缓冲区中，数据从该缓冲区流向连接到数据最终目的地的接收器。接收器也可以是其他Flume代理程序的后续数据源。代理可以链接，并且每个代理都有多个源、通道和接收器。

Flume是一个分布式系统，可用于收集、聚合流事件并将其传输到Hadoop中。它有许多内置的源、通道和接收器，例如Kafka通道和Avro接收器。Flume是基于配置的，它有拦截器来对通道中的数据执行简单的转换。

如果不小心，使用Flume很容易丢失数据。例如，为高吞吐量选择内存通道有一个缺点，即当代理节点关闭时，数据将丢失。文件通道将以增加延迟为代价提供持久性。即使如此，由于数据没有复制到其他节点，因此文件通道仅与底层磁盘一样的可靠性。Flume通过多跳/扇入扇出流提供了可伸缩性。对于高可用性（HA），可以水平扩展代理。

Apache Kafka

Kafka是一种分布式高吞吐量消息总线，可将数据生成者与消费者分开。消息按主题组织，主题分为多个分区，分区在群集中的节点之间复制（称为代理）。与Flume相比，Kafka具有更好的可扩展性和消息持久性。 Kafka现在有两种样式：一种是“经典”生产者/消费者模型，另一种是新的Kafka-Connect，它为外部数据存储提供可配置的连接器（源/接收器）。

kafka可以用于大型软件系统组件之间的事件处理和集成，此外，kafka附带kafka流，它可以用于简单的流处理，而不需要单独的集群，如apache spark或apacheFlink。

由于消息被持久化在磁盘上，并且在集群中被复制，因此数据丢失情况不像Flume那样常见。也就是说，无论是使用Kafka客户端还是通过Connect API，生产者/来源和消费者/接收器通常都需要自定义编码。与Flume一样，消息大小也有限制。最后，为了能够进行通信，Kafka的生产者和消费者必须就协议、格式和架构达成一致，这在某些情况下可能会有问题。

Apache NiFi

与Flume和Kafka不同，NIFI可以处理任何大小的消息。在基于Web的拖放用户界面后面，NIFI在集群中运行，并提供实时控制，以便您可以轻松地管理任何源和任何目标之间的数据移动。它支持不同格式、模式、协议、速度和大小的分散和分布式源。

NiFi可以用于具有严格安全性和合规性要求的关键任务数据流中，在那里我们可以可视化整个过程并实时进行更改。在撰写本文时，它有近200个随时可用的处理器（包括Flume和Kafka处理器），可以进行拖放、配置和立即投入使用。NiFi的一些关键特性是优先级排队、数据跟踪和每个连接的背压阈值配置。

虽然NiFi用于创建容错生产管道，但它不会复制像Kafka这样的数据。如果节点发生故障，则可以将流定向到另一个节点，但排队等待故障节点的数据必须等待节点恢复。 NiFi不是一个成熟的ETL工具，不适合复杂的计算和事件处理（CEP）。要做到这一点，它应该连接到流式框架，如Apache Flink，Spark Streaming或Storm。

组合

没有工具符合您的所有要求。组合以更好的方式执行不同操作的工具可以增强功能并增加处理更多场景的灵活性。根据您的需求，NiFi和Flume可以充当Kafka生产商或消费者。

Flume-Kafka集成非常受欢迎，它有自己的名字：Flafka（我不是这样做的）。Flafka包括Kafka源，Kafka通道和Kafka池。结合Flume和Kafka，Kafka可以避免自定义编码并利用Flume经过实战考验的资源和接收器，通过Kafka通道的Flume事件将在Kafka代理中进行存储和复制，以实现弹性。

组合工具可能看起来很浪费，因为它似乎在功能上重叠。例如，NiFi和Kafka都提供代理商来连接生产者和消费者。但是，它们的表现不同：在NiFi中，大多数数据流逻辑不在生产者/消费者中，而是在代理中，允许集中控制。 NiFi是为了做一件重要的事情而构建的：数据流管理。通过两种工具的结合，NiFi可以充分利用Kafka可靠的流数据存储，同时解决Kafka无法解决的数据流挑战。

中安威士 ：保护核心数据，捍卫网络安全

 

来源：网络收集

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/69914889/viewspace-2651172/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/69914889/viewspace-2651172/