大数据入门之分布式日志收集框架Flume(1) -- Flume介绍以及环境搭建

1.Flume概述

Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。

2.Flume架构及核心组件

Flume里面有三大组件：Source、Channel、Sink。

Source：收集数据（比如从Web服务器上收集产生的日志信息等），传到Channel中。

Channel：聚集数据，暂时性地把数据存进一个地方（内存、文件等），类似数据缓冲的地方，传到Sink中。

Sink：把数据写到某个地方去（HDFS、KAFKA等）

3.环境搭建

前置要求

JDK1.8

下载安装

下载Flume，http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.6.0-cdh5.7.0.tar.gz。

解压，并配置到环境变量中。

文件配置

到flume的conf目录下，执行"cp flume-env.sh.template flume-env.sh"，然后“vi flume-env.sh”，修改如下。只需要配一下自己的JAVA_HOEM的路径即可。

export JAVA_HOME=/usr/java/jdk1.8.0_171

检测

进入flume的bin目录下，执行“flume-ng version”，如果能正确出来版本信息即配置成功。

 

想了解更多Flume的知识，请移步Flume官方文档。