一、定义:
(1)Flume是一种分布式,可靠且可用的服务,用于有效地收集,聚合和移动大量日志数据。它具有基于流数据流的简单灵活的架构。它具有可靠的可靠性机制和许多故障转移和恢复机制,具有强大的容错性。它使用简单的可扩展数据模型,允许在线分析应用程序。
( 2)Flume官网地址:
(3)文档查看地址:
http://flume.apache.org/FlumeUserGuide.html
4)下载地址:
http://archive.apache.org/dist/flume
二、体系结构:
1、source 源头–>数据源–>HDFS
2、channel 管道---->数据缓存通道----->解决source和Sink之间数据采集与处理数据速度不一致的问题;
3、Sink 输出---->数据输出端口----->HDFS
三、应用:
四、注意事项:
五、图解:
(1)Flume流程图
(2)Flume组成框架
(3)Flume Agent内部原理
(3)Flume的拓扑结构