Flume 是一个高可用、高可靠的大规模日志采集系统，它通过流式架构实现数据实时读取与传输。每个Flume Agent由Source、Channel和Sink三部分构成。Source接收并处理多种格式的日志数据，Channel作为缓冲区存储数据，允许不同速率的Source和Sink操作。Sink则将数据批量写入存储系统如HDFS，或发送到其他Flume Agent。Event作为传输基本单元，包含Header和Body，用于存储事件属性和数据。
文章目录
前言
Flume 是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统,基于流式架构，灵活简单。
Flume 最主要的作用是：实时读取服务器本地磁盘的数据，将数据写入到HDFS
一、Flume 基础架构
-
Agent
Agent 是一个 JVM 进程，主要有 3 个部分组成，Source、Channel、Sink。 -
Source
Source 是负责接收数据到 Flume Agent 的组件，可以处理各种类型、各种格式的日志数据。 -
Channel
Channel 是位于 Source 和 Sink 之间的缓冲区。因此，Channel 允许 Source 和 Sink 运作在不同的速率上。
Flume 自带两种 Channel：M
最低0.47元/天 解锁文章
2928
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
