Flume 组件介绍

名称

解析

Event

一个数据单元,带有一个可选的消息头,其实就是一条消息,一个日志;(Kafka 的消息没有消息头,因此,Flume 的消息进入 Kafka 后,消息头就丢失了)

Flow

数据流,Event 从源点到达目的点的迁移的抽象

Client

操作位于源点处的 Event,将其发送到 Flume Agent

Agent

一个独立的 Flume 进程,包含组件 Source、Channel、Sink

Source

用来获取 Event 并写入 Channel

Channel

中转 Event 的一个临时存储,保存有 Source 组件传递过来的 Event,可以认为是一个队列

Sink

从 Channel 中读取并移除 Event,将 Event 传递到 Flow Pipeline 中的下一个 Agent 或者其他存储系统

常用 Source: exec source, kafka source, netcat source, http source, spooling Directory source, tailDirSource, avro source (多层flume 必需)

常用 Channel: file channel, memory channel, kafka channel (有副本机制, 安全性更高) 

常用 Sink: kafka sink, hdfs sink, hbase sink, avro sink

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值