flume学习之一是什么，主要应用在什么场景

最新推荐文章于 2024-07-23 08:03:31 发布

技术人宝哥

最新推荐文章于 2024-07-23 08:03:31 发布

阅读量1.1w

点赞数

分类专栏：分布式系统文章标签： flume 学习场景

本文链接：https://blog.csdn.net/code52/article/details/50957498

版权

Apache Flume是一个由Cloudera开发的高可用、高可靠的海量日志采集、聚合和传输系统。它由source、channel和sink三个核心组件构成，通过事件(Event)进行数据传输。Flume具有高可靠性，使用事务确保数据传递，并提供可恢复性，尤其适合日志数据的处理。Flume支持多种数据源和接收方，如目录池、RPC、文本、syslog等，其数据流模型允许灵活的配置组合。

摘要由CSDN通过智能技术生成

1、Flume是什么？

Flume是Cloudera开发的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据。数据源可定制、可扩展，数据存储系统可定制、可扩展。

flume运行的核心是agent。它是一个完整的数据收集工具，含有三个核心组件，分别是source、channel、sink。通过这些组件，event可以从一个地方流向另一个地方。为了保证输送一定成功，在送到目的地之前，会先缓存数据，待数据真正到达目的地后，删除自己缓存的数据。

2、flume背景

Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来，尤其是在 Flume OG 的最后一个发行版本 0.94.0 中，日志传输不稳定的现象尤为严重，为了解决这些问题，2011 年 10 月 22 号，cloudera 完成了 Flume-728，对 Flume 进行了里程碑式的改动：重构核心组件、核心配置以及代码架构，重构后的版本统称为 Flume