5.flume静态拦截器使用

static拦截器的功能就是往采集到的数据的header中插入自己定义的key-value对

• 1、案例场景

A、B两台日志服务机器实时生产日志主要类型为access.log、nginx.log、web.log, 现在需要把A、B 机器中的access.log、nginx.log、web.log 采集汇总到C机器上然后统一收集到hdfs中。

但是在hdfs中要求的目录为：

/source/logs/access/20200101/**

/source/logs/nginx/20200101/**

/source/logs/web/20200101/**

开发配置文件

在node1与node2服务器开发flume的配置文件

vim exec_source_avro_sink.conf

# Name the components on this agent
a1.sources = r1 r2 r3
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /home/hadoop/taillogs/access.log
a1.sources.r1.interceptors = i1
a1.sources.r1.interceptors.i1.type = static
## static拦截器的功能就是往采集到的数据的header中插入自己定义的key-value对
a1.sources.r1.interceptors.i1.key = type
a1.sources.r1.interceptors.i1.value = access

a1.sources.r2.type = exec
a1.sources.r2.command = tail -F /home/hadoop/tai