Flume Agent 组件如何协同工作

如前所述，每个Flume代理由三个主要组件组成：source，channel和sink。在本节中，我们将介绍这些和其他组件以及它们如何协同工作。

Source是从生成数据的其他应用程序接收数据的活动组件。有源产生数据本身，尽管这些来源主要用于测试目的。源可以收听一个或多个网络端口以接收数据或者可以从本地文件系统读取数据。每个源必须连接至少一个通道。源可以写入几个通道，根据一些标准将事件复制到所有或某些通道。

Channels，通常，被动组件（尽管它们可能运行自己的线程进行清理或垃圾收集），缓冲由代理接收到但尚未写入另一代理程序或存储系统的数据。通道行为像队列，源代码写入它们并从中读取。多个源可以安全地写入同一个信道，并且多个信宿可以从同一信道读取。但是，每个接收器只能从一个通道读取。如果从同一个通道读取多个接收器，则可以确保正确的一个接收器将从通道读取。

Sinks不断轮询各自的频道，以阅读和删除事件。接收器将事件推送到下一跳（在RPC接收器的情况下）或到最终目的地。一旦数据安全地在下一跳或其目的地，汇通过事务通知通道，现在可以从通道中删除这些事件。