目录
Apache Hadoop生态-目录汇总-持续更新
系统环境:centos7
Java环境:Java8
案例只演示通道流程,其中Source,channel,Sink的种类按需调整
1:案例流程描述
使用 Flume-1 监控文件变动,Flume-1 将变动内容传递给 Flume-2,Flume-2 负责存储到 HDFS。
同时 Flume-1 将变动内容传递给 Flume-3,Flume-3 负责输出到 LocalFileSystem。
架构流程如下:Flume1同时发送给Flume2,Flume3
2:实现步骤:
2.1:实现flume1.conf
配置1个接收日志文件的 source 和两个 channel、两个 sink,分别输送给flum2和 flume3
vim flume1.conf
# 1:定义组件
a1.sources = r1
a1.sinks = k1 k2
a1.channels = c1 c2
# 2:定义source
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /logs/hive.log
a1.sources.r1.shell = /bin/bash -c
# 将数据流复制给所有 channel - 默认replicating
a1.sources.r1.selector.type