Flume开发 -- 聚合

一、需求

Hadoop151 上的 Flume-1 监控文件 /opt/module/group.log。
hadoop152 上的 Flume-2 监控某一个端口的数据流。
Flume-1 与 Flume-2 将数据发送给 hadoop153 上的 Flume-3，Flume-3 将最终数据打印到控制台。

二、流程分析

三、实现步骤

3.1 准备工作

1、在 hadoop151 上的 /opt/module/flume/job 目录下创建一个 group4 文件夹。

[test@hadoop151 job]$ mkdir group4

2、分发 flume

[test@hadoop151 module]$ xsync flume/

3、查看各个机器上的 flume 环境(xcall 为编写的 shell 脚本)

[test@hadoop151 module]$ xcall ls /opt/module/
==========hadoop151 ls /opt/module/==========
datas
flume
hadoop-2.7.2
hbase-1.3.1
hive
input
jardict
jdk1.8.0_144
zookeeper-3.4.10
==========hadoop152 ls /opt/module/==========
flume
hadoop-2.7.2
hbase-1.3.1
jdk1.8.0_144
zookeeper-3.4.10
==========hadoop153 ls /opt/module/==========
flume
hadoop-2