研读《基于flume网络安全可视化系统》----小结

1.哪些公司在使用该框架呢？

Facebook ，美团等公司已经使用了flume为框架收集日志的系统，可以提供给Hadoop平台离线的数据，也可以为storm和spark提供实时的数据。

2.成熟的flume有哪些特点呢？

必须具备可靠性，可用性，可扩展性这几个特点。

可用性体现在flume提供了自下而上的传输机制，实时数据分层管理，分层传输，用户可以自行添加所需要的节点，并且在每一层都具有简单的数据分析过滤功能。

可靠性体现在当某个节点出现故障时，数据能够传输到相邻的节点上，不会丢失，具有高度的冗余性。

可扩展性体现在代理节点，数据收集节点，数据存储节点都具备水平扩展的功能，并且都由master统一的管理，方便系统的监控和维护。

3系统的实现方式

flume是一个分布式的海量日志聚合系统，支持数据发送方，数据接收方烦人数据定制，同时具有数据的预处理能力，如图所示，该图为flume的工作逻辑图，

agent A B C D E F 等，分别受到master的控制，当每个agent传输的数据经过collector进行收集，传输到数据库或者分布式文件系统（在这里使用了Hadoop的分布式文件系统）来存储数据。