Flume学习笔记 --- Flume搭建与配置

1.添加一个Agent 
Flume代理配置存储在本地文件中。这里是一个遵循Java属性文件格式的文本文件。可以在同一个配置文件中至指定一个或多个Agent的配置。 
配置文件包含代理中每个Source, Sink和Channel的属性以及如何连接称为数据流。

2.配置单个组件 
流中的每个组件（source,  sink, channel) 都具有特定与类别和实例化的名称，类型和属性集。 
例如，Avro源需要主机名（IP地址）和 端口号来接收数据。 
channel可以具有最大队列大小（‘容量’）。 
HDFS的sink需要知道文件系统的URL，创建文件的路径，文件轮换频率（”hdfs.rollinterval”） 
组件的所有此类属性需要在Flume Agent的属性文件中设置。

3.将各组件链接到一起 
Agent知道要加载哪些组件以及它们如何连接已构成流程。这是通过列出代理中每个Source、Sink、Channel的名称，然后为每个Sink和Source指定连接的通道来完成。 
例如这里是实际例子：（tier1是agent的名字，后面的source、channnel等配置如下）

tier1.sources = source1