大数据之-Flume

最新推荐文章于 2024-08-24 13:56:47 发布

孑～

最新推荐文章于 2024-08-24 13:56:47 发布

阅读量202

点赞数

本文链接：https://blog.csdn.net/qq_49071908/article/details/108482354

版权

Flume是一个高可用、高可靠的海量日志采集系统，基于流式框架。它包含Source、Channel和Sink三个核心组件，Source接收日志，Channel作为缓冲区，Sink负责将数据传输到目的地。Flume支持多种Source和Sink类型，如Avro、HDFS等，并可通过ChannelSelector和SinkProcessor实现负载均衡和故障转移。常见的Flume拓扑结构包括简单串联、赋值和多路复用、负载均衡和故障转移以及Agent聚合。

摘要由CSDN通过智能技术生成

1.Flume概述

**
1.1 Flume的定义
　　Flume是一个高可用、高可靠的，分布式的海量日志采集、聚合和传输系统。Flume基于流式框架，灵活简单。
　　
　　Flume主要作用：
在这里插入图片描述
1.2 Flume基础框架
　　Flume组成结构：

1.2.1 Agent
　　Agent是一个JVM进程，它以事件的形式将数据从源头送至目的地。
　　Agent主要有3个组成部分，Source、Channel、Sink。
1.2.2 Source
　　Source是负责接收数到Flume Agent的组件。Source组件可以处理各种类型、各种格式的日志文件，包括avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy。
1.2.3 Sink
　　Sink不断的轮询Channel中的事件且批量地移除它们，并将这些事件批量写入到存储或索引系统、或者被发送到另一个Flume Agent。
Sink组件目前包括hdfs、logger、avro、thrif