flume 企业中的实例案例 默认拦截器

flume 企业中的实例案例 默认拦截器

首先flume有一些自身的拦截器 如：TimestampInterceptor 、
HostInterceptor 、r RegexExtractorInterceptor 等， 通过使用不同的拦截器，
实现不同的功能
同时我们有也可以通过java代码 来自定义拦截器，这里先不讲 在hadoop-6

案例场景：A、B 两台日志服务机器实时生产日志主要类型为 access.log、nginx.log、
web.log

需求：
把 A、B 机器中的 access.log、nginx.log、web.log 采集汇总到 C 机器上
然后统一收集到 hdfs 中。
但是在 hdfs 中要求的目录为：
/source/logs/access/20160101/**
/source/logs/nginx/20160101/**
/source/logs/web/20160101/**

你会想到什么？
首先要获取这三组文件，但是要根据access /nginx/web 来分别存储到对应的目录文件下
我们要解决的就是 在flume中 传递type 分别为 access/nginx/web
上传hdfs 打印时 我们动态获取这个type 指定hdfs上根据type来存放在不同的目录下。

话不多说 直接代码：

1. 在note1上
   vi exec_source_avro_sink.conf

   #Name the components on this agent
   a1.sources = r1 r2 r3