Flume 学习笔记（二）Flume复制多发案例 | 配置多个Channel对于相对不同的单个Sink | 将本地日志文件内容采集到HDFS和另一个本地位置

若发现文章有误，敬请指教，感谢

运行环境

---

• JDK8
• Hadoop3.3.0 单节点亦可
• Flume1.9
• CentOS7

一、参考资料

---

视频链接
Flume官方文档

二、案例介绍&准备知识

---

Flume官方的架构图：

flume本质上就是一个Agent，通过Source（数据源）、Channel（缓冲管道）、Sink（输出源）这么一套工序，将数据从一个地方移动到另一个地方，那么本次案例则通过这样的思想，实现多个Agent的通信，最终将数据从log日志文件分流到HDFS和另一个本地文件位置。（注：这里暂未涉及拦截器）
案例结构图：

以下内容将用 $FLUME_HOME 代指flume的根目录

2.1 Flume Memory Chennel

官方说明

• 在Flume里什么是Chennel ？

Channels are the repositories where the events are staged on a agent. Source adds the events and Sink removes it.
译：Channels 是在Agent存储的事件，Source添加事件，Sink删除事件，言简意赅就是缓冲通道

• 在Flume里什么是Memory Chennel ？

The events are stored in an in-memory queue with configurable max size. It’s ideal for flows that