Flume安装及简单使用

flume的安装

​ 下载地址：http://mirrors.hust.edu.cn/apache/flume/1.7.0/apache-flume-1.7.0-bin.tar.gz

​ 安装步骤：

1. 将安装包解压：

   $ tar -zxvf apache-flume-1.7.0-bin.tar.gz -C apps/
   

2. 修改配置文件

   $ cd conf
   $ cp flume-env.sh.template flume-env.sh
   $ vi flume-env.sh
   

   配置jdk环境

   export JAVA_HOME=/usr/local/jdk1.8.0_73
   

3. 配置环境变量

   $ vi ~/.bashrc
   

   #FLUME
   #flume安装地址
   export FLUME_HOME=/home/apps/flume
   export PATH=$PATH:$FLUME_HOME/bin
   

   保存使其生效

   $ source ~/.bashrc
   

4. 查看版本，检验是否安装成功

   $ flume-ng version
   

flume的简单使用

1. 修改配置文件

   $ cd /home/apps/flume/conf
   $ vi flume.conf
   

   输入以下内容：

   #指定Agent组件名称
   agent.sources = r1
   agent.sinks = k1
   agent.channels = c1
   
   #指定flume source（要监听的路径）
   agent.sources.r1.type = spooldir
   agent.sources.r1.spoolDir = /home/log
   
   #指定flume sink
   agent.sinks.k1.type = logger
   
   #指定flume channel
   agent.channels.c1.type = memory
   agent.channels.c1.capacity = 1000
   agent.channels.c1.transactionCapacity = 100
   
   #指定source和sink到channel上
   agent.sources.r1.channels = c1
   agent.sinks.k1.channel = c1
   

2. 启动flume

   $ cd flume
   $ bin/flume-ng agent --conf conf --conf-file conf/flume.conf --name agent -Dflume.root.logger=INFO,console
   

flume简单操作

1. 在/home/log下创建一个flume.log日志文件，写入hello,flume作为测试内容，接着就可以在flume启动的终端下看到刚刚采集的内容了，如下：

   2019-11-12 22:18:28,937 (SinkRunner-PollingRunner-DefaultSinkProcessor) [INFO - org.apache.flume.sink.LoggerSink.process(LoggerSink.java:95)] Event: { headers:{} body: 68 65 6C 6C 6F 20 66 6C 75 6D 65 20 21 21       hello flume !! }
   

   至此 flume已能够正常运行。

​