一、Kafka与Flume比较
1、Flume主要是为了发送数据给HDFS和HBase用的工具。 Flume集成了Hadoop的安全体系。
如果数据将被多个系统所消费,那么采用Kafka。
Kafka是一个更加通用的系统。 可以有很多数据的Producer和Consumer。 这些Consumer之间共享多个主题。
2、Flume具有多个内置的源和sink,
如果Flume的源和sink正好满足你的要求,而且你希望使用一个不需要开发的采集系统(只需要配置),那么你就使用Flume。
相对而言,Kafka只有一个较少的Producer和COnsumer生态圈。
如果你想开发一个采集系统,那就基于Kafka开发。
3、Flume可以使用interceptors来即时处理数据,这对对数据过滤由帮助;
Kafka需要外部的流处理系统来完成这个功能。
4、都是可靠的系统,都可以保证数据不会丢失。
5、Flume和Kafka可以一起工作。
如果你需要从Kafka流数据到Hadoop