flume的配置文件书写

首先进入flume官网 flume.apache.org，这里可以看到flume已经很久没有更新了最新版还是19年一月的（说明flume基本已经没啥可优化的了），以最新版为例。

1.进入flume的文档。

2.翻到官方给的样例先复制到一个文本编辑器中，照着这个改就行，这里我用sublime来写。

3.根据需求修改配置文件，这里以flume作为数据通道，将用户行为数据由Flume从Kafka直接同步到HDFS为例说明。

4.按照规划，该Flume需将Kafka中topic_log的数据发往HDFS。并且对每天产生的用户行为日志进行区分，将不同天的数据发往HDFS不同天的路径。

此处选择KafkaSource、FileChannel、HDFSSink。

5.对官方给的文档模板里面的参数修改，并根据实际需求进行参数设置。如添加拦截器，内存，数据切片大小修改等等，进行优化。

 

6.对于不清楚的参数配置格式可在官网上进行搜索。这里以拦截器参数设置为例，在官网文档上往下翻或者使用快捷键ctrl+f搜索interceptors，翻到对应的样例进行修改。flume这里做得十分人性化不仅有说明还有对应的样例。

在配置文件进行选择的时候可以根据情况不选source或者sink，例如直接使用TaildirSource和KafkaChannel进行采集发往Kafka，省去sink，这是flume进行的优化。

最后注意检查格式是否正确，flume的配置文件如果哪行写错了不会报错，只会当此行没写。