FLume是一款由Cloudera提供的高可用、高可靠、分布式日志采集、聚合和传输系统。其设计目标包括端到端的可靠性、故障时本地存储以及可扩展性。FLume-NG相比FLume-OG进行了重大重构，去除了对Zookeeper的依赖，简化了配置，并支持更复杂的日志处理拓扑。用户可通过配置Source、Sink和Channel实现定制化的数据处理和传输。
概念：
FLume是Cloudera提供的一个高可用，高可靠，分布式的海量的日志采集，聚合，传输系统，FLume支持在日志系统中定制各类数据发送方，用于收集数据。同时，Flume提供对数据进行简单处理，并写到各种数据接收方（可定制）的能力。
设计目标：
可靠性：end to end（exactly once）
Store on failure（数据接收方crash时，将数据写到本地，待恢复后，继续发送）
Best effort（数据发送到接收方后，不会进行确认）
可管理性：所有Source，Channel和Sink由Agent统一管理，
可扩展性：Flume采用三层架构，分别为Source，Channel，Sink。每一层均可以水平扩展
Flume能够支持多种数据源并且输出多种数据源，能够支持多种数据格式的数据
发展历程：
1.09年7月，从Cloudera诞生
2.10年11月，Cloudera开源了第一个可用版本0.9.2,0.9.x这个系列的版本也被称为FLume-OG
最低0.47元/天 解锁文章
633
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
