本文详细介绍了Flume的原理和基本架构，包括Event、Agent、Source、Channel和Sink的概念，并阐述了Flume作为日志收集工具的分布式、可靠和高可用特性。此外，还提供了Flume的安装步骤，特别提到了在测试环境中如何配置Flume来监控文件夹并打印新增文件。Flume的Interceptor和Sink Processor等高级特性的介绍，有助于理解其工作流程。
目录
Flume是什么
Flume是Cloudera公司发布的开源的日志收集工具
分布式、可靠和高可用的海量日志采集、聚合和传输的日志收集系统
系统灵活性高：数据源可定制、可扩展；数据存储系统可定制、可扩展
中间件：屏蔽了数据源和数据存储系统的异构性
Flume基本架构
Event
Event是Flume数据传输的基本单元，Flume以Event的形式将数据从数据源传送到最终的目的地。
Event由可选的header和载有数据的byte array构成，Header是容纳了kv字符串对的无序集合，key在集合里唯一。
最低0.47元/天 解锁文章
1240
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
