2021-04-19

分布式日志收集框架Flume

一、Flume概述

http://flume.apache.org/
Flume提供分布式、高可靠、高可用的服务，用于分布式的海量日志的高效收集、聚合、移动

与业界同类产品的对比
Scibe:Facebook公司的,不再维护
Chukwa：Yahoo
Fluentd:Ruby
Logstash:ELK(ElasticSearch,Kibana)

二、Flume架构及核心组件

①Source :作用是采集
②Channel：作用是聚合
③Sink：作用是输出

总结：Flume的核心是把数据从数据源(source)收集过来，在将收集到的数据送到指定的目的地(sink)。为了保证输送的过程一定成功，在送到目的地(sink)之前，会先缓存数据(channel),待数据真正到达目的地(sink)后，flume在删除自己缓存的数据。

三、Flume环境搭建

1.安装JDK，修改配置
2.安装flume,修改配置