Flume 概念理解

最新推荐文章于 2021-12-29 20:13:53 发布

七乘563

最新推荐文章于 2021-12-29 20:13:53 发布

阅读量182

点赞数

分类专栏： flume 文章标签： flume

本文链接：https://blog.csdn.net/qq_22177809/article/details/90234667

版权

1 篇文章 0 订阅

订阅专栏

flume最一个可靠的、分布式的和高可用的海量日志采集、聚合和传输的系统。

Client：生产数据，运行在独立的线程
Event：事件，即一个数据单元，也就是每次发送的一个数据或消息（由消息头和消息体组成）。
Flow：event从数据发送方到接收方迁移的一个抽象过程。–数据传输流向
Agent：一个独立的Flume进程，处理event，也是数据传输的基本单元，包含组件Source、Channel、Sink。（Agent使用JVM运行Flume，每台机器运行一个agent，但是可以在一个agent中包含多个sources和sinks）
Source：数据收集组件，作为agent的数据来源，与event的数据发送方对应。–从Client收集数据，传递给Channel。
Channel：作为数据在agent中的临时存储，保存有Source组件传递过来的event。
Sink：作为对Source传输到Channel中的event数据的消费，将event数据传输到对应的数据接收方（也可以将event数据传输给下一个Agent，形成Agent PipeLine）。–Sink从Channel收集数据，运行咋一个独立线程。

规则：

关注