一、什么是Flume
先来看一下官方解释
Flume是一个高可用,高可靠,分布式的海量日志采集、聚合和传输的系统,能够有效的收集、聚合、移动大量的日志数据。
其实通俗一点来说就是Flume是一个很靠谱,很方便、很强的日志采集工具。
他是目前大数据领域数据采集最常用的一个框架
为什么它这么香呢?
主要是因为使用Flume采集数据不需要写一行代码,注意是一行代码都不需要,只需要在配置文件中随便写几行配置Flume就会死心塌地的给你干活了,是不是很香?
看这个图,这个属于Flume的一个非常典型的应用场景,使用Flume采集数据,最终存储到HDFS上。
二、Flume的特性
它有一个简单、灵活的基于流的数据流结构,这个其实就是刚才说的Agent内部有三大组件,数据通过这三大组件流动的
具有负载均衡机制和故障转移机制,这个后面我们会详细分析
一个简单可扩展的数据模型(Source、Channel、Sink),这几个组件是可灵活组合的