单节点搭建flume之exec和spooldir

本文详细介绍了如何在单节点环境中搭建Flume,包括安装步骤、使用exec和spooldir进行日志及文件抽取的配置实践。Flume在企业中广泛用于大数据的日志收集,其灵活性体现在只需调整配置文件即可适应不同需求。需要注意的是,Flume不支持抽取非文本文件,如PDF和JPG,尝试抽取时可能会导致错误。
摘要由CSDN通过智能技术生成

一、flume安装

1、上传flume包到master并解压缩

tar -zxvf flume-ng-1.2.0-cdh3u5.tar.gz 
2、添加flume路径到.bash_profile中(可有可无,只为方便)
export FLUME_HOME=/home/hadoop/flume-ng-1.2.0-cdh3u5
export FLUME_CONF_DIR=$FLUME_HOME/conf
3、修改flume配置文件(文件位置:flume-ng-1.2.0-cdh3u5/conf/)

cp flume-conf.properties.template flume-conf.properties
编辑flume-conf.properties

a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = hd2
a1.sources.r1.port = 44444

# Describe the sink
a1.sinks.k1.type = logger

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink t
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值