Kafka 与 Flume

 

一、Kafka与Flume比较

1、Flume主要是为了发送数据给HDFS和HBase用的工具。  Flume集成了Hadoop的安全体系。

      如果数据将被多个系统所消费，那么采用Kafka。

      Kafka是一个更加通用的系统。 可以有很多数据的Producer和Consumer。  这些Consumer之间共享多个主题。

2、Flume具有多个内置的源和sink，

      如果Flume的源和sink正好满足你的要求，而且你希望使用一个不需要开发的采集系统(只需要配置)，那么你就使用Flume。

     相对而言，Kafka只有一个较少的Producer和COnsumer生态圈。

     如果你想开发一个采集系统，那就基于Kafka开发。

3、Flume可以使用interceptors来即时处理数据，这对对数据过滤由帮助；

     Kafka需要外部的流处理系统来完成这个功能。

4、都是可靠的系统，都可以保证数据不会丢失。

5、Flume和Kafka可以一起工作。

     如果你需要从Kafka流数据到Hadoop࿰