Flume是一个高可用、高可靠、分布式的日志采集系统，广泛应用于大数据日志收集。其特点是配置简单，无需编程，通过Source、Channel、Sink三大部分实现数据流处理。Source包括Exec、NetCat等类型，Channel如Memory Channel和File Channel用于临时存储数据，Sink如HDFS和Kafka Sink则将数据输出到不同目的地。Flume还支持多路输出和数据汇聚功能，灵活适应各种日志处理需求。
一、什么是Flume
先来看一下官方解释
Flume是一个高可用，高可靠，分布式的海量日志采集、聚合和传输的系统，能够有效的收集、聚合、移动大量的日志数据。
其实通俗一点来说就是Flume是一个很靠谱，很方便、很强的日志采集工具。
他是目前大数据领域数据采集最常用的一个框架
为什么它这么香呢？
主要是因为使用Flume采集数据不需要写一行代码，注意是一行代码都不需要，只需要在配置文件中随便写几行配置Flume就会死心塌地的给你干活了，是不是很香？
看这个图，这个属于Flume的一个非常典型的应用场景，使用Flume采集数据，最终存储到HDFS上。
二、Flume的特性
它有一个简单、灵活的基于流的数据流结构，这个其实就是刚才说的Agent内部有三大组件，数据通过这三大组件流动的
具有负载均衡机制和故障转移机制，这个后面我们会详细分析
一个简单可扩展的数据模型(Source、Channel、Sink)，这几个组件是可灵活组合的
订阅专栏 解锁全文
1758
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
