hadoop配置Flume

最新推荐文章于 2022-05-12 00:21:04 发布

kebike_zhe

最新推荐文章于 2022-05-12 00:21:04 发布

阅读量1.1k

点赞数

文章标签： hadoop flume big data

本文链接：https://blog.csdn.net/kebike_zhe/article/details/121900201

版权

本文档详细介绍了Apache Flume的安装步骤，包括解压软件包、设置环境变量、修改配置文件，以及启动Flume的过程。此外，还提供了配置客户端Source、Sink和Channel的示例，以及如何在集群中复制配置。

摘要由CSDN通过智能技术生成

一、解压

cd /usr/local/sof
tar -zxvf apache-flume-1.9.0-bin.tar.gz

二、添加系统环境变量

vi /etc/profile
export FLUME_HOME=/usr/local/soft/apache-flume-1.9.0-bin
export PATH=$PATH:$FLUME_HOME/bin
source /etc/profile

三、修改Flume环境变量

cd /usr/local/soft/apache-flume-1.9.0-bin/conf/
拷贝环境变量文件

cp flume-env.sh.template flume-env.sh
添加内容

export JAVA_HOME=/usr/local/soft/jdk1.8.0_11
四、配置文件

客户端(Source)：收集信息

拷贝配置文件：

cp flume-conf.properties.template flume-client.properties
配置文件内容：

#分别指定agent的sources，sinks, channels的名称名称可以自定义

a1.sources = s1

a1.sinks = k1

a1.channels = c1

#配置目录scource

a1.sources.s1.type =spooldir

a1.sources.s1.spoolDir =/home/hadoop/logs

a1.sources.s1.fileHeader= true

a1.sources.s1.channels =c1

#配置sink

a1.sinks.k1.type = logger

a1.sinks.k1.channel = c1

#配置channel(内存做缓存)

a1.channels.c1.type = memory
五、启动