流式数据采集和计算组件 flume、filebeat、logstash对比

总结

Flume更注重于数据的传输，对于数据的预处理不如Logstash。Logstash是ELK组件之一，一般都是同ELK其它组件一起使用，更注重于数据的预处理，Logstash有比Flume丰富的插件可选，所以在扩展功能上比Flume全面。

在传输上Flume比Logstash更可靠一些，因为数据会持久化在channel中。数据只有存储在sink端中，才会从channel中删除，这个过程是通过事务来控制的，保证了数据的可靠性。Logstash内部没有persist queue，所以在异常情况下会出现数据丢失的问题。

Filebeat是一个轻量型日志采集工具，因为Filebeat是Elastic Stack的一部分，因此能够于ELK组件无缝协作。Filebeat占用的内存要比Logstash小很多。性能比较稳健，很少出现宕机。

Filebeat的数据源一般是日志，似乎只能是日志，而Flume的日志源可以是mysql数据库。