Flume多数据源汇总案例

1.需求分析

2.实现步骤

1.准备工作

        分发Flume

        [zz@hadoop102 module]$ xsync flume

        在hadoop102、hadoop103以及hadoop104的/opt/module/flume/job目录下创建一个group3文件夹。

        [zz@hadoop102 job]$ mkdir group3

        [zz@hadoop103 job]$ mkdir group3

        [zz@hadoop104 job]$ mkdir group3

2.创建flume1-logger-flume.conf

        配置Source用于监控hive.log文件，配置Sink输出数据到下一级Flume。

        在hadoop103上创建配置文件并打开

        [zz@hadoop103 group3]$ touch flume1-logger-flume.conf

              [zz@hadoop103 group3]$ vim flume1-logger-flume.conf

        添加如下内容

        # Name the components on this agent

        a1.sources = r1

        a1.sinks = k1

        a1.channels = c1

        # Describe/configure the source

        a1.sources.r1.type =