文章目录
前言
Flume 是一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,基于流式架构,灵活简单。
Flume 最主要的作用是:实时读取服务器本地磁盘的数据,将数据写入到HDFS
一、Flume 基础架构
-
Agent
Agent 是一个 JVM 进程,主要有 3 个部分组成,Source、Channel、Sink。 -
Source
Source 是负责接收数据到 Flume Agent 的组件,可以处理各种类型、各种格式的日志数据。 -
Channel
Channel 是位于 Source 和 Sink 之间的缓冲区。因此,Channel 允许 Source 和 Sink 运作在不同的速率上。
Flume 自带两种 Channel:M