浅谈Kafka和flume的区别

浅谈Kafka和flume的应用场景

kafka

kafka主要应用于消息队列，就是将数据分发给各个消费者

flume

flume主要还是一个信息的收集，然后再将这些信息存储到数据库中

区别

这两个完全是两个概念，区别也是很大，只是这样个人记得较为清楚。两个组件都有推送操作，只不过kafka是pull,而flume是push。

pull就是消费者通过客户端向服务器请求，如果有数据就会进行通信，这样有个好处就是不会阻塞。数据是存储在磁盘中的。

push就是flume将采集过来的数据推送到目的地址HDFS中，不过flume有制定缓存机制来应对阻塞。数据是存储在内存中的。