1.flume相关配置以及配置含义

flume的整体基础框架如下所示：

#定义三大组件的名称

1.其中source是flume日志采集的起点，监控文件系统目录，其中比较常见的是Spooling Directory Source,来进行一个数据因为意外情况数据采集中断，恢复过后，从异常中断位置继续采集。

2.flume的utf配置是默认按照utf-8来进行配置的。

agent1.sources = source1
agent1.sinks = sink1
agent1.channels = channel1

#关于配置channel ，channel是flume的中间数据缓存管道类似kafka的机制，可采用的方式是menmory channel，原因是数据量大，需要极大的数据吞吐量和速度。

一旦flume进程down掉，没有续点传递的机制，但是使用基于内存，吞吐率会变大。

# 配置source组件
agent1.sources.source1.type = spooldir
#agent1.sources.source1.spoolDir = /home/nginx/logs/logHistory
#agent1.sources.source1.spoolDir = /home/nginx/logs/logtest