什么是Flume

1.介绍

Flume是Apache基金会下的一个分布式、可靠、高可用的日志采集系统，主要用于从不同的数据源（如Web服务器、数据库、应用程序等）中采集大量的数据，并将其传输到Hadoop或其他存储系统中。
Flume的主要作用是实现大规模数据采集和传输，实现数据的实时处理和分析，从而为企业提供更好的业务决策支持。

2.Flume的主要角色包括：

1. Agent：Flume的核心组件，负责接收、收集、传输和转换数据流。Agent由多个组件组成，包括Source、Channel和Sink。
2. Source：负责从数据源（如文件、目录、日志文件、网络端口等）中采集数据，并将其发送到Channel中。
3. Channel：负责存储数据，并确保数据的可靠传输。Channel可以是内存、文件或者内存加文件的混合方式。
4. Sink：负责将数据发送到目标存储系统（如HDFS、HBase、Kafka等）中。

3.Flume角色通信

Flume的不同角色之间通常使用RPC（远程过程调用）协议通信，以确保数据的可靠传输。

4.监控指标

Flume需要监控的指标包括：

1. Event throughput：每秒钟处理的事件数。
2. Channel capacity