使用flume收集日志

flume介绍

Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。
官网文档：http://flume.apache.org/FlumeUserGuide.html

flume安装

flume依赖于java1.8+，安装flume首先要安装java环境

apt install openjdk-8-jre-headless

然后下载源码包

wget http://mirrors.tuna.tsinghua.edu.cn/apache/flume/1.8.0/apache-flume-1.8.0-bin.tar.gz

解压并移动到想要的目录，此处移动至/opt下

tar -zxvf apache-flume-1.8.0-bin.tar.gz
mv apache-flume-1.8.0-bin /opt/flume-1.8.0

运行以下命令查看版本号验证是否安装成功，正常显示版本号则安装成功

/opt/flume-1.8.0/bin/flume-ng version

flume基础配置

还需要进入到conf目录下在flume-env.sh文件中配置一下flume的JAVA_HOME值。

cd /opt/flume-1.8.0/conf
cp flume-env.sh.template flume-env.sh
vi /opt/flume-1.8