![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flume
文章平均质量分 90
leveretz
多年潜水,回馈社会
展开
-
flume1.9安装
Flume介绍介绍(1)高可靠性,Flume提供了end to end的数据可靠性机制(2)易于扩展,Agent为分布式架构,可水平扩展(3)易于恢复,Channel中保存了与数据源有关的事件,用于失败时的恢复(4)功能丰富,Flume内置了多种组件,包括不同数据源和不同存储方式(1)Source:数据源,简单的说就是agent获取数据的入口。(2)Channel:管道,数据流通和存储的通道。一个source必须至少和一个channel关联。(3)Sink:用来接收ch.原创 2021-02-18 14:23:33 · 541 阅读 · 0 评论 -
flume+kafka
Flume 是一个分布式、可靠、和高可用的海量日志聚合的系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。Flume 的特点是可以通过手工配置,可以自动收集日志文件,在大数据处理及各种复杂的情况下,flume经常被用来作为数据处理的工具,Flume搜集日志的方式多种多样,比如可以检测文件夹的变化,可以监原创 2016-11-23 11:50:38 · 780 阅读 · 0 评论