flume聚合

1、需求

• centos7-2服务器上的Flume-1监控文件/data/mydata/hive.log
• centos7-3服务器上的Flume-2监控某一个端口的数据流
• Flume-1与Flume-2将数据发送给centos7-4服务器上的Flume-3，Flume-3将最终数据打印到控制台。

2、需求分析

3、准备

在centos7-2、centos7-3以及centos7-4的/data/flume/apache-flume/目录下创建job/group3文件夹。

cd /data/flume/apache-flume
mkdir -p job/group3

4、创建flume1 agent配置文件flume1-file-flume.conf

配置Source用于监控/data/mydata/hive.log文件，配置Sink输出数据到下一级Flume。

在centos7-2服务器上编辑配置文件：

vim job/group3/flume1-file-flume.conf

添加：

# Name the components on this agent
a1.sources = r1
a1.channels = c1
a1.sinks = k1

# Describe/configure the source
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /data/mydata/hive.log
a1.sources.r1