Flume 学习 —— 案例四：Flume 监听本地文件，并将文件分别写至 HDFS 和本地文件夹中

案例四：Flume 监听本地文件，并将文件分别写至 HDFS 和本地文件夹中

结构

结构中有3个 Agent，分别是监控 File 文件的 a1，接收 a1 的 s1 并写入本地文件夹的 a3 和接收 a1 的 s2 并上传至 HDFS 的 a2

创建配置文件

1.在这里，我使用 Flume 监听的是 /usr/wang/data/Example4.txt 文件
2.在 flume 的 conf 同级目录下创建 job/job1 文件夹，并在 job1 文件夹内创建 flume-file-flume.conf、flume-flume-dir.conf 和 flume-flume-hdfs.conf

cd /usr/wang/flume
mkdir -p job/job1
cd job/job1

touch flume-file-flume.conf
touch flume-flume-dir.conf
touch flume-flume-hdfs.conf

vim flume-file-flume.conf

将下方文件拷贝到 flume-file-flume.conf 中

# Name the components on this agent
a1.sources = r1
a1.sinks = k1 k2
a1.channels = c1 c2

# 会将source过来的events发往所有channel
a1.sources.r1.selector.type = replicating

# Desc